米フロリダ州で、元ゴールドマン・サックスの金融アナリストの男性が、ChatGPTに元交際相手の殺害計画などを繰り返し書き込んだことをきっかけにFBIへ通報され、逮捕されていたことが明らかになった。便利な「相談相手」として急速に普及した生成AIだが、その会話が完全な密室ではないことを改めて示した事件として注目を集めている。
報道によると、男性はフロリダ州サウス・パームビーチに住む25歳のダレン・ジョウ氏。ゴールドマン・サックスのウェストパームビーチ拠点で金融アナリストとして勤務していた。
今年3月ごろ、交際していた21歳女性との破局後、ChatGPTに嫉妬や怒りを書き込むようになった。当初は感情的な相談だったものが、次第に元交際相手への暴力を具体的に想定する内容へ発展したという。
裁判記録によれば、ジョウ氏は「今月末までに彼女を殺す」「自分のものにならないなら誰のものにもさせない」といった趣旨の発言を繰り返し、銃器を使った殺害や誘拐などについて具体的なシナリオまでChatGPTに入力していた。捜査当局は、単なる感情的な発言ではなく、計画を繰り返し「予行演習」するようなパターンだったと判断したと報じられている。
難しいかじ取りを迫られるサム・アルトマン氏 OpenAI HPより
OpenAIが検知しFBIへ
異変を検知したのはOpenAI側だった。
OpenAIは、暴力行為を計画・実行しようとしている可能性のある利用を検出した場合、アカウント停止などの措置を取るとしている。さらに、危険性の高いケースについては訓練を受けた担当者が文脈を確認し、他人に対する差し迫った重大な危害のおそれがあると判断すれば、法執行機関へ通報する場合がある。
今回も会話が重大な危険を示すものと判断され、OpenAIからFBIへ情報が提供された。その後、FBIからパームビーチ郡保安官事務所に約2カ月分の会話記録が渡され、ジョウ氏は5月に逮捕された。10万ドルの保釈金で釈放されたものの、ゴールドマン・サックスは事件を把握した後の6月に同氏を解雇したという。
8月には司法取引が成立し、8年間の保護観察処分となった。最初の2年間は電子監視装置を装着し、元交際相手への接触や銃器の所持なども禁じられている。
「全部バレとる」日本でも驚き
事件は日本のXでも拡散され、「ChatGPTとの会話って見られているのか」「全部バレとる」「これはアカン」など、驚きや冗談交じりの反応が広がった。
もっとも、これはOpenAIの担当者が日常的に全利用者の会話を読み続けているという意味ではない。
OpenAIは公式に、暴力につながる可能性のある利用をシステムで検知し、必要に応じて人間が確認する仕組みを説明している。またプライバシーポリシーにも、不正行為や違法行為、サービスの悪用を防ぐ目的で、プラットフォーム上のコンテンツを監視する場合があることが明記されている。
つまりChatGPTは、医師や弁護士のように「何を話しても絶対に外部へ出ない秘密の相談室」ではない。
安全とプライバシーの難しい境界線
今回のケースだけを見れば、AIの安全機能が現実の犯罪を防ぐ方向に機能した事例と評価できるだろう。具体的な殺害計画が入力されながら、企業が「プライバシーだから」と放置して実際に事件が起これば、それもまた大きな批判を浴びる。
一方で、この仕組みをどこまで広げるべきかは難しい問題だ。
OpenAI自身は、暴力について語るすべての会話を危険とみなすのではなく、会話全体の文脈や長期間のパターンから危険性を判断する方針を示している。
今回の事件が示したのは、「ChatGPTに書けば誰にも知られない」という感覚がそもそも正しくないということだ。
生成AIは検索エンジン以上に人間の私的な悩みや本音が入力されるようになった。それだけに利用者にも、AIとの会話は一定の条件下で安全対策の対象となり、重大な危険があれば当局に提供される可能性があるという最低限のリテラシーが必要になっている。
コメント