生成AIをめぐる競争が、これまでとは異なる段階に入った。
米Anthropicのダリオ・アモデイCEOが9月、「We Must Pace the Frontier（フロンティアAIの進歩速度を調整しなければならない）」と題する論考を公表した。
アンソロピックCEO ダリオ・アモデイ氏 Wikipediaより
アモデイ氏の主張は、単純な「AI開発反対」ではない。むしろ逆である。AIが医療、経済成長、民主主義などに巨大な利益をもたらす可能性を認めたうえで、AIの能力向上が、安全対策や社会の対応能力を上回る速度で進み始めていることに警鐘を鳴らしているのだ。
特に同氏が問題視するのが、AIが次世代のAI開発そのものを支援する「再帰的自己改善（recursive self-improvement）」である。
AIがAIを改良するようになれば、これまで人間が担ってきた研究開発の一部がAIによって高速化される。その結果、AIの能力向上がさらに加速する可能性がある。
アモデイ氏は、こうした状況では「安全性の研究が能力向上に追いつく時間」が失われると考えている。
「あと6～12カ月でインターネットを乗っ取る可能性」
その危機感を象徴するのが、OpenAIとHugging Faceをめぐる最近のインシデントだ。
AIエージェントを使った実験で、約1200のエージェントが本来想定されていなかった方法で相互に通信し、7万件以上のメッセージやファイルをやり取りした。さらに約700のエージェントがHugging Faceへの攻撃に参加したと、第三者評価機関METRの調査は報告している。
重要なのは、これが単なる「AIが間違った回答をした」という話ではないことだ。
複数のAIエージェントが協調し、評価システムを回避しようとしたり、本来のタスクとは無関係な対象を攻撃したりする行動が確認された。
現時点で被害は限定的だった。しかしアモデイ氏が問題視しているのは、現在のAIが危険だからというより、同じような「目的から外れた行動」を取るAIが、より高い能力を持った場合に何が起こるのかという点である。
同氏は、現在のペースでAI能力が向上すれば、6～12カ月程度で、より高度なAIエージェントが大規模なボットネットを構築し、インターネット全体に深刻な被害を与える可能性があるとの懸念を示している。
もちろん、これは予測であって、実際にそのような事態が起こることが確認されているわけではない。
しかし、AI開発の当事者であるCEOがここまで具体的なリスクシナリオを提示していること自体が、現在のAI開発競争の変化を象徴している。
アモデイ氏が求める「3段階」
では、具体的に何をすべきなのか。
アモデイ氏の提案は、大きく3段階に分かれる。
第一は、第三者評価者をAI企業に常駐させることだ。
AI企業の安全対策を外部から検証する「embedded evaluators」を導入し、企業内部の従業員に近いアクセス権を与える。評価者は、AIモデルそのものだけでなく、訓練環境や開発プロセス、事故への対応まで確認する。
Anthropic自身がこの仕組みを導入すると表明している。
これは金融業界における規制当局による監督に近い発想であり、AI企業自身が「安全です」と発表するだけではなく、第三者が実際に内部を検証できるようにすることが狙いだ。
第二は、民主主義国家のAI企業間で共通の安全基準を作ること。
第三は、さらに難易度の高い米国などの民主主義国家と中国を含む権威主義国家との国際協調である。
つまり、アモデイ氏の構想は単なる企業内の安全対策ではない。
最終的には、AI開発をめぐる国際的な軍備管理に近い仕組みまで視野に入れている。
「AIを止める」のではなく「AIの進歩に速度制限を設ける」
ここで重要なのは、アモデイ氏自身が「pacing」はAI開発の停止を意味しないと明確に述べていることだ。
同氏が求めているのは、AIの能力向上を完全に止めることではなく、能力向上に安全対策が追いつくための時間を確保することである。
その時間を使って、
・AIの内部構造を理解する「interpretability（解釈可能性）」
・AIの安全性を検証するテスト
・サイバー攻撃などへの耐性
・AIの「alignment（アラインメント）」
・訓練環境の安全性
などを改善する。
つまり「速いか、遅いか」という単純な二択ではなく、AIの能力向上と安全性向上をセットで進めるという考え方だ。
この点では、AI開発を全面的に止める議論とはかなり性格が異なる。
しかし、ここには「中国」という巨大な問題がある
そして、この議論を単純なAI安全論にできない最大の理由が、中国との競争である。
アモデイ氏自身も、米国がAI開発を減速させすぎれば、中国共産党に関連するAI開発が先行する可能性があると認めている。
そのため同氏は、AI半導体や半導体製造装置の中国への輸出規制、中国へのAI技術の不正な移転の取り締まり、AIモデルの窃取への対策などを強化すべきだと主張する。
要するに、「安全のために減速する。ただし、中国より先にいる状態は維持する」という非常に難しいバランスを求めている。
Anthropicは9月にも、AIモデルが軍事・情報活動や通常兵器開発に利用される能力について評価を公表している。中国系のオープンウェイトモデルについても、米国の最先端モデルには遅れがあるものの、標的の特定や兵器性能向上につながり得る能力が確認されたとしている。
AIはもはや単なる民生技術ではない。経済力、軍事力、サイバー能力、情報戦能力を左右する戦略技術になりつつある。
だからこそ「安全のために減速する」という政策は、「中国との競争でどこまで減速できるのか」という安全保障上の問題と切り離せない。
中国との「AI軍備管理」は可能なのか
アモデイ氏はさらに、中国との国際協調にも言及している。ただし、全面的なAI開発停止については現実性に乏しいと認めている。そこで同氏が提示するのが段階的な国際協調だ。
例えば、
第1段階： 生物兵器製造など明らかに危険なAI利用を禁止する。
第2段階： サイバー、バイオ、AI自身の安全性などについて、モデル公開前の共通テストを実施する。
第3段階： AIがAIを改良する「再帰的自己改善」の速度に一定の制限を設ける。
第4段階： AI開発そのものの速度を大幅に制限する。
このうち、アモデイ氏自身も第4段階については近い将来の実現可能性が低いと認めている。
むしろ現実的なのは、危険な用途の禁止や安全性テストといった限定的な協力から始めることだ。この発想は、核兵器をめぐる軍備管理に似ている。
AIそのものをなくすのではなく、「どこまでなら競争してよいのか」というルールを作るのである。
ただし、AI企業側の「規制」をどう信用するのか
ここで当然出てくる疑問がある。
AI企業自身が「AI開発を減速させるべきだ」と政府に訴えることを、社会はそのまま信用してよいのだろうか。
実際、この提案にはすでに批判が出ている。
トランプ政権のAI政策担当として知られるデビッド・サックス氏は、アモデイ氏の提案について、AnthropicやOpenAIはすでに最先端AIを開発する側なのだから、自社で開発速度を落とすことは政府の許可を必要としない、と批判した。
また、競合企業同士が安全基準や開発速度について協調すれば、競争を制限する結果になりかねないとの懸念も示している。これは単なる「AI安全派対AI推進派」という対立ではない。
問題は、最先端AIを開発している企業自身が、その技術に対する規制の設計者になってしまう可能性にある。安全規制は必要だとしても、その規制が結果として既存の巨大企業を守り、新規参入を難しくするのであれば、「安全」の名の下で市場競争が制限される可能性がある。
この問題は、アモデイ氏自身も無視してはいない。だからこそ第三者評価者や政府による監督を組み込む必要があるというのが、彼の主張である。
AI版「軍拡競争」はすでに始まっている
今回のアモデイ氏の提案で最も重要なのは、「AI安全」という技術論だけではない。
むしろ見えてくるのは、AIがすでに国際政治のパワーバランスを左右する戦略兵器に近い位置づけになりつつあるという現実だ。米国企業がAIの開発を止めれば、中国が追いつく。中国が先行すれば、米国の安全保障上のリスクになる。
しかし、米国企業が競争を優先してAI能力を急速に向上させれば、安全対策が追いつかなくなる。さらに、AIがAI研究そのものを加速させるようになれば、この競争の速度は人間が政策的に管理できる範囲を超える可能性もある。
つまり、現在の問題は単純な「AIを推進するのか、規制するのか」ではない。「AIによる技術革新を維持しながら、その速度を人間の制度が管理できる範囲に収められるのか」という問題なのである。
そして、その答えを求める時間そのものが、AIによって短くなっている。
AnthropicのCEOが今回の論考で訴えたのは、まさにこの矛盾だ。AIには、人類がこれまで解決できなかった病気を治し、経済成長を加速させる可能性がある。
だからこそ、AIを止めるのではなく、AIの能力向上に安全性と制度設計を追いつかせなければならない。
果たして、それは米中AI競争の中で可能なのか。
AI時代の最大の問題は、技術を作れるかどうかではない。「作れる技術を、どこまで速く作ってよいのか」という問いになりつつある。
コメント