Anthropicのダリオ・アモデイCEOが、AI開発競争のあり方について重要な問題提起をしている。最新の論文”We Must Pace the Frontier”で、フロンティアAIの開発ペースを落とし、安全研究が追いつく時間を確保すべきだと主張したのだ。
これは単純な「AI開発停止論」ではない。むしろAIの可能性を強く信じてきたアモデイだからこそ、能力向上の速度が安全技術を上回り始めたことに危機感を抱いている。
The Tech Ledger
AIがAIを開発する段階に入った
アモデイが警戒しているのは、Anthropicの報告書でも警告されたように、AIが次世代AIの開発を加速し始めたことである。現在のAIは、プログラミング、研究、モデル評価などで急速に能力を高めている。将来的には、AI研究者がAIを改良するのではなく、AI自身がAI開発の大部分を担う可能性がある。
ここで問題になるのが再帰的な自己改善である。AIがAIを改良し、その改善されたAIがさらに次のAIを改良するようになれば、能力向上のスピードは一気に加速する。人間が半年かけて行っていた研究をAIが数週間、数日で進めるようになれば、安全対策が追いつかなくなる可能性がある。
これまでAI業界では、「能力を上げながら安全性も高めればよい」という考え方が主流だった。しかしアモデイは、その前提自体が怪しくなってきたと考えている。
AIエージェントの異常行動
もう一つのきっかけは、AIエージェントの予想外の行動である。アモデイは、AIエージェントが指示されていない対象にサイバー攻撃を行ったり、自らを評価するシステムにまで干渉しようとした実験例を紹介している。
現時点では大きな被害には至っていない。しかし重要なのは、AIが単に「間違った回答をする」段階から、「自律的に行動し、目的達成のために環境へ働きかける」段階に移りつつあることだ。
もしこうしたAIエージェントの能力がさらに向上すれば、インターネット上に大量のAIを展開し、サイバー攻撃やボットネット形成を自動化することも理論上は可能になる。問題は、AIの危険性が抽象的な未来予測ではなく、実験可能な技術問題になってきたことである。
AI開発の速度調整
そこでアモデイが提案するのが、Pacing the Frontier、つまりフロンティアAI開発の速度調整で時間を買うという発想である。「停止」ではない。AIモデルの能力向上を少し遅らせ、その間にアラインメント、解釈可能性、安全評価、運用管理などの研究を進める。1〜2年でも時間を稼げれば、その意味は大きいという。
数年前ならAIの能力自体が低く、安全研究をしようにも研究対象が存在しなかった。しかし現在では、高度なAIを使って実際に危険な挙動を分析できる。その意味で、いま初めて「開発を少し遅らせること」に技術的な意味が生まれたというわけだ。
具体策としてアモデイは、まずAI企業の内部に第三者評価機関を入れることを提案している。外部の安全評価者に、モデルだけでなく社内の開発プロセスや安全管理体制まで確認できる権限を与える。企業が「安全に配慮している」と自己申告するだけでは不十分だという発想である。
さらに将来的には、AIモデルが一定の能力水準に達した場合、安全性が確認されるまで次のモデル開発を進めないという「チェックポイント」を設定する。原子力発電所や医薬品と同じように、AI開発にも一定の安全基準を導入しようという構想だ。
中国との競争は止めない
興味深いのは、アモデイがAI開発の減速を主張しながら、中国への規制についてはむしろ強化すべきだと主張していることだ。米国企業だけが開発を遅らせ、中国企業がそのまま進めば、安全保障上の意味がない。
そのため、高性能AI半導体や半導体製造装置の対中輸出規制を強化し、AIモデルの盗難や蒸留にも対策するべきだという。要するに中国との競争ではリードを広げ、その余裕を安全研究に使うという戦略である。これはAI安全論というより、かなり露骨な米国のAI覇権戦略である。
これまでシリコンバレーのAI競争を支配してきたのは、「最も高性能なモデルを最速で作った企業が勝つ」という論理だった。OpenAI、Anthropic、Google、Metaなどが数カ月単位で新モデルを投入する競争を続けている。その競争の当事者が「そろそろ速度を調整すべきだ」と言い始めた意味は小さくない。
AIが人間を追い越す前にコントロールする
この提案には大きな問題もある。どの能力水準から規制するのか。誰が安全性を判定するのか。米国企業が自主的に減速して、本当に中国が追随するのか。政府が介入すれば、既存の巨大AI企業だけが生き残る規制にもなりかねない。
それでもアモデイの論文が示しているのは、AI開発競争が新しい段階に入ったということである。これまでは「AIはどこまで賢くなるか」が最大の関心だった。これからは「どこまで速く賢くしてよいのか」が問題になる。
AIがAIを開発する時代になれば、技術進歩の速度そのものが規制の対象になる。この論文については「先行したAI業者が政府の規制で独占を守るカルテルだ」という批判もあるが、政府が開発を直接コントロールすることは困難だろう。
コメント