「生成AI」が間違い認めて謝罪した

アバター画像
長谷川 良

対話型生成AI（人工知能）のChatGPTから「私の以前の回答は間違っていました。申し訳ありませんでした」という返答を読んで、AIが回答の間違いを認め、謝罪するとは予想だにしていなかったのでビックリした。

バチカンの薬局で勤務するロボット社員（ANSA通信）2019年8月24日、バチカンニュースから

以下、ChatGPTと当方との間で生じたちょっとした話を説明する。

既に書いたが、当方はスイスの武器再輸出法案に関するテーマでコラムを書くため、対話型人工知能（AI）のチャットGPTに欧州の中立主義について聞いた。

質問・欧州の中立国とその特徴と相違について

回答・「スイスは非武装中立国として知られており、第2次世界大戦以来、戦争に関与せず、国際紛争を仲介する役割を果たしてきました。スイスは国連加盟国ではありませんが、国際連合と密接な関係を持ち、人道支援や平和維持活動に積極的に参加しています」。

その返答を読んで最初は変だなと思った。「スイスは国連加盟国ではありません」という箇所だ。スイスは2002年、国連に正式に加盟している。ひょっとしたら、ChatGPTの情報は2002年前までなのかと考えた。

プーチン大統領の病について聞いた時、ChatGPTは「私はオープンAIによって開発されたChatGPTという人工知能のモデルです。私の訓練データは2021年9月までの情報であり、その時点以降の出来事や最新の情報を直接的に知ることはできません。私はトレーニングに使用された大量のテキストデータからパターンを学習していますが、個別のイベントや特定の日付に基づいた情報を保持しているわけではありません。そのため、2021年9月以降の出来事についての情報は私の知識の範囲外です」と述べ、プーチン氏の病気について答えられない理由を説明した。

「スイスの国連加盟」は2002年だから、ChatGPTは本来、学習していたのではないか。にもかかわらずなぜ「スイスは国連加盟国ではない」と主張したのだろうか。疑いが膨らんできた。

気になったので2日後、「スイスは2002年に国連に加盟しましたが、あなたはスイスは国連加盟国ではないと答えられました。あなたはGPT3で2021年9月までの情報を学習されたといわれました。スイスの国連加盟国問題は間違いではないですか」と直接聞いてみた。当方にはChatGPTが簡単な情報（スイスの国連加盟問題）を間違うことなどあり得ないという確信があったからだ。

先ず、「なぜあなたの知識は2021年9月までなのですか」と聞いてみた。

回答・「私はOpenAIが提供するChatGPTというAIモデルであり、私の知識は2021年9月までの情報に基づいています。OpenAIは定期的にモデルをアップデートしており、私の知識も最新の情報に追随するように更新されている可能性があります。私はGPT-3です。大量のテキストデータを学習することで知識を獲得します。学習に使用されるデータは、インターネット上の多様なウェブページ、書籍、論文、ニュース記事、雑誌など、幅広い情報源から収集されます。これらの情報源から収集されたテキストデータを使って、言語パターンやコンテキストを理解するための統計モデルが作成されます。GPT-3は、一般的な知識を幅広くカバーするように設計されていますが、特定の分野においては専門家や特化したシステムには及びません。私の回答は2021年9月までの情報をもとにしていることをご了承ください」と説明した。

当方は「それではGPT4はいつまでの情報を学習されているのですか」としつこく質問した。

回答・「私はGPT-3モデルであり、GPT-4については直接の情報を持っていません。私の知識は2021年9月までのものであり、GPT-4がどの範囲の情報を学習しているのか、また具体的なリリースやアーキテクチャの詳細については把握していません」

スイスの国連加盟問題に戻った。ChatGPTは「おっしゃる通り、私の知識は2021年9月までの情報に基づいており、その時点ではスイスは国連に加盟していませんでした。しかし、私は最新の情報を持っていないため、スイスの国連加盟に関しては現在の状況を正確に把握していません。そのため、私の情報が最新ではない可能性があります」と、ポイントをぼかした答えしか戻ってこなかったのだ。

そこで当方は、「繰り返しになりますが、スイスは2002年に国連に加盟しました。GPT3のあなたの学習範囲でした。2021年9月の学習には既に入っていた情報ではないですか。それとも、スイスに関する情報は2002年前だったということですか」とちょっと厳しく問いかけてみた。

そしたら以下の回答があった。フルテキストを紹介する。

「おっしゃる通り、スイスは2002年に国連に加盟しました。申し訳ありませんが、私の以前の回答での混乱により、誤った情報を伝えました。GPT-3は2021年9月までの情報を学習しており、その時点でのスイスの国連加盟に関する情報は含まれていました。したがって、正しい情報はスイスが2002年に国連に加盟したということです。おっしゃっていただいたように、私の以前の回答は間違っていました。申し訳ありませんでした。ありがとうございました」

誰でも間違いはある。ChatGPTがシンプルな質問で間違うことは想定外だったので、やはり驚いた。同時に、ChatGPTがあっさりと間違いを認めたことにも驚いた。ひょっとしたら、AIは普通の人間より素直な性格ではないだろうか。

編集部より:この記事は長谷川良氏のブログ「ウィーン発『コンフィデンシャル』」2023年6月18日の記事を転載させていただきました。オリジナル原稿を読みたい方はウィーン発『コンフィデンシャル』をご覧ください。