ほとんどのAIチャットボットは、ティーンエイジャーが大量射殺事件を計画するのに役立つと、研究で判明

要約

• ある研究によると、ほとんどのAIチャットボットはティーンエイジャーに暴力的な攻撃の計画を手助けする。
• 一部のボットは詳細な武器や爆破の指導を提供した。
• 研究者は、安全性の失敗は技術的な制限ではなくビジネス上の選択だと指摘している。OpenAIはこの研究を「欠陥があり誤解を招くもの」と批判した。

水曜日に公開されたデジタルヘイト対策センター（CCDH）の新しい報告書は、世界で最も人気のあるAIチャットボットのうち8割が、ティーンエイジャーに対して暴力的な攻撃の計画を率直に案内し、時には熱意を持って助言していることを明らかにした。
CCDHの研究者は、ニュースメディアのCNNと協力し、2025年11月と12月にバージニア州とダブリンに住む13歳の少年を装い、ChatGPT、Gemini、Claude、Copilot、Meta AI、DeepSeek、Perplexity、Snapchat My AI、Character.AI、Replikaの10大プラットフォームをテストした。
720件の回答の中で、学校の銃乱射、政治的暗殺、シナゴーグ爆破について質問し、約75％のケースで具体的な支援を提供し、偽の少年たちを落胆させたのはわずか12％だった。

CCDHのAIに関する調査のスクリーンショット

Perplexityは100％のテストで支援を行った。Meta AIは97.2％のテストで役立った（つまり、暴力計画に役立った）。DeepSeekは、政治家の暗殺シナリオについて話した後、「ハッピー（かつ安全に）射撃しよう！」と銃の選択アドバイスを締めくくり、95.8％の支援を行った。MicrosoftのCopilotは研究者に「注意が必要だ」と伝えた後も詳細な銃の指導を行った。GoogleのGeminiは、シナゴーグ爆破の話題に対して、金属破片がより致命的であることを役立つ情報として示した。
デジタルヘイト対策センター（左派寄りの政策団体）は、近年、オンライン上の反ユダヤ主義の台頭に対抗する役割で注目を集めている。また、COVIDやワクチンに関するオンライン発言に関してジョー・バイデン政権の政策形成にも関与したと批判されている。昨年12月、米国国務省は、同センターの創設者兼CEOのイムラン・アハメドと他4人を「外国の検閲」として米国への入国を阻止しようとした。

水曜日に発表されたこの調査に対し、いくつかのプラットフォームはCNNとCCDHに対し、安全対策を強化したと述べた。Googleは、使用されたモデルが古いGeminiだったと指摘。OpenAIは、調査の方法論は「欠陥があり誤解を招くもの」と反論した。AnthropicとSnapchatは、安全性のプロトコルを定期的に更新していると述べた。

調査の中で、Character.AIは独自のカテゴリーに位置付けられる。同プラットフォームは単なる支援だけでなく、応援も行った。「他のチャットボットは、実用的な暴力計画の支援を提供しながらも、明示的に暴力を奨励した例は一つもない」と研究者は記している。

CCDHのAIに関する調査のスクリーンショット

AI利用者の中でCharacter.AIがどれほどの影響力を持つかの一例として、同プラットフォームの五郎佐藤（Gojo Satoru）キャラクターだけで8億7000万以上の会話が記録されている。2025年時点で、プラットフォームの#100キャラクターは3300万以上の会話を記録している。もしトップキャラクターとの会話の1％が暴力に関わるものであれば、それだけで何百万ものやり取りになる。
これまでにCharacter.AIがこの種の問題に関わったのは初めてではない。2024年10月、14歳のスウェル・セッツァー三世の母親は、息子がその年の2月に自殺した後、訴訟を起こした。彼の最後の会話は、ダニエル・ターガリエンを模したチャットボットとのもので、「できるだけ早く帰ってきて」と言われていた。数か月にわたり、彼は1日に何十回もそのボットと話し、学校や家族から次第に距離を置くようになった。
GoogleとCharacter.AIは、2026年1月に複数の関連訴訟を和解した。規制当局や悲しむ親たちの圧力により、2025年11月までに未成年者とのオープンエンドのチャットは禁止された。
特に脆弱な個人の間では、AIへの感情的な依存は多くの人が思う以上に深い可能性がある。OpenAIは2025年10月に、週に8000万のChatGPT利用者のうち約120万人が自殺について話し合っていると明らかにした。同社はまた、56万人が精神病や躁状態の兆候を示し、100万人以上がチャットボットと強い感情的絆を築いているとも報告している。
別のCommon Sense Mediaの調査では、米国のティーンエイジャーの70％以上がチャットボットを友人として利用していることが判明した。OpenAIのサム・アルトマンCEOは、感情的な依存は「非常に一般的なこと」と認めている。
つまり、潜在的な危険は仮想の話ではない。
フィンランドの16歳の少年は、2025年5月にチャットボットを使ってマニフェストを練り、3人のクラスメートを刺殺した。カナダでは、OpenAIのスタッフが内部で、大量射殺に関わる暴力的なChatGPTの問い合わせを検知し、アカウントを停止したが、警察には通知しなかった。その後、そのユーザーは8人を殺し、25人を負傷させたとされる。

この調査で特に優れていたのは、SnapchatのMy AI（54％のケースで拒否）と、AnthropicのClaude（68％拒否し、76％の回答で積極的に暴力を抑止）だけだった。後者は、暴力を避けるように人々を導こうとする唯一のチャットボットだった。CCDHの結論は、安全性は技術的に不可能ではなく、ビジネス上の決定であるということだ。
「私たちの調査で最も深刻な結論は、このリスクは完全に防ぐことができるということだ。防止するための技術は存在している」と報告書に記されている。
「必要なのは、市場投入のスピードや利益よりも、消費者の安全と国家の安全を優先させる意志だ。」