サックス氏が問うAI安全論の矛盾 規制捕獲と米中技術競争の狭間で
米Anthropicのダリオ・アモデイCEOが、最先端AIの開発速度を抑えるよう呼びかけた。
9月に発表した論考「We Must Pace the Frontier（フロンティアの進歩速度を調整しなければならない）」で、アモデイ氏は、AIが人類に莫大な利益をもたらす可能性を認めながらも、安全対策が技術の進歩に追いついていないと警告した。
アンソロピックCEOダリオ・アモデイ氏
しかし、この提案に対して、米国のAI政策をめぐる議論で知られるデビッド・サックス氏が厳しい批判を展開した。
サックス氏の主張は明快だ。
「本当に危険だと思うのなら、政府の許可を求めず、まず自分たちで開発速度を落とせばいい」。
AI安全性をめぐる議論は、単なる技術論ではない。そこには、巨大テック企業による規制の利用、競争政策、そして中国との技術覇権競争という、より大きな問題が横たわっている。
Dario has written that we need to “pace the frontier,” and Sam has agreed. People may be surprised by my response: go ahead.
You guys are the frontier. By any reasonable metric — market share, revenue growth, model capability — the two of you have a duopoly on frontier…
— David Sacks (@DavidSacks) September 13, 2026
「AIを止めろ」ではない。だが、誰が速度を決めるのか
アモデイ氏の提案を正確に理解する必要がある。
同氏は、AI開発の全面停止を求めているわけではない。AIの能力向上に安全対策が追いつくよう、開発のペースを調整すべきだと主張している。
背景にあるのは、AIが次世代のAI開発を支援する「再帰的自己改善（recursive self-improvement）」への懸念だ。
AIがAIを改良するようになれば、技術の進歩はこれまで以上に加速する可能性がある。その一方で、AIの行動を理解し、制御するための研究が追いつかなくなるおそれもある。
アモデイ氏は、AIエージェントが想定外のサイバー攻撃などを行ったとされるOpenAIとHugging Faceをめぐるインシデントにも言及した。能力がさらに高まったAIが同様の行動を取れば、被害は大規模化する可能性があるという。
そこで同氏が提案するのが、次の3段階である。
第一に、AI企業に第三者の評価者を常駐させ、開発や安全対策を検証する。
第二に、民主主義国家のAI企業が共通の安全基準を設け、開発速度について協調する。
第三に、米国などの民主主義国家と中国を含む権威主義国家との国際協力を目指す。
この提案には、AIの安全性を高めるという明確な目的がある。しかし、サックス氏が問題視したのは、その実現手段と、提案する側の立場である。
サックス氏の反論：「あなたたちはフロンティアそのものだ」
サックス氏は、アモデイ氏の論考に対する反応として、OpenAIとAnthropicに対し、まず自ら行動するよう求めた。
両社は、最先端AIの開発競争を担う企業である。市場シェア、売上高、モデルの能力など、どの指標を見ても、両社はフロンティアAIの中心に位置している。
その企業が「AIの進歩を抑えるためには、業界全体の協調や政府の関与が必要だ」と訴える。
サックス氏は、そこに疑問を呈した。
「あなたたちはフロンティアだ。誰かの許可が必要だというふりをするのはやめろ」
同氏の論理はこうだ。
本当に自社のAIが危険な水準に近づいていると判断しているのなら、AnthropicもOpenAIも、まず自社の開発計画を変更できるはずである。
政府による新たな規制や、競合企業との協調を待つ必要はない。
ましてや、AI開発の速度を抑えるために、競争法の適用を緩和するよう求めることには慎重であるべきだ。
安全性を理由に企業間の協調を認めれば、結果として大手企業が競争を制限し、新規参入を阻む仕組みになりかねないからだ。
サックス氏は、このような動きを「規制捕獲（regulatory capture）」につながる可能性があると批判している。
「安全性」の名の下に競争を制限してよいのか
サックス氏の批判で最も重要なのは、AI安全性そのものを否定していない点である。
むしろ問題は、誰が安全性のルールを作り、誰がそのルールによって利益を得るのかということだ。
AIの開発には、莫大な計算資源、データ、研究者、資金が必要になる。すでに最先端のAI開発は、限られた巨大企業に集中している。
そこに新たな安全基準や第三者評価、政府による認証制度が導入されれば、社会全体の安全性が高まる可能性がある一方で、規制対応に必要な資金や人材を持つ企業が有利になる可能性もある。
特に、既存の大手企業が「安全性を確保するために、競合企業間の協調が必要だ」と主張した場合、その協調がどこまで必要なのかは慎重に検討しなければならない。
安全性の確保と競争の維持は、必ずしも同じ方向を向くとは限らない。
だからこそ、第三者評価機関を設けるのであれば、その独立性をどう担保するのか、評価結果を誰が監督するのか、企業に不利な結果も公表できるのかといった制度設計が重要になる。
アモデイ氏は、第三者評価者に企業内部への広範なアクセスを認め、Anthropicに不利な評価結果も公表できる仕組みを提案している。
しかし、その仕組みを業界全体に広げる場合、誰が評価者を選び、誰がその活動を監督するのかという問題は残る。
「市場がAIの安全性を求めている」という反論
サックス氏はさらに、AI企業が安全性を重視することには、政府による規制がなくても経済的な動機があると指摘する。
AIが予測不能な行動を取り、顧客や第三者に深刻な損害を与えれば、企業は訴訟や損害賠償、信用の失墜に直面する可能性がある。
企業にとって、AIの信頼性や予測可能性を高めることは、単なる倫理的な課題ではない。それ自体が製品競争力に関わる問題でもある。
サックス氏は、AIの安全性を高めることは、顧客が求める製品品質を向上させることでもあると論じる。
つまり、AI企業が安全性を追求する理由は、政府から規制されることを恐れているからだけではない。
市場で生き残るためにも、安全性は重要な経営課題になっている。
この観点からすれば、AI企業が自ら開発速度を調整し、安全性を高めることは可能なはずだ。そのうえで、どうしても企業単独では対応できない問題について、政府の関与を求めればよい。
サックス氏が問題にしているのは、AI企業が自らの責任で解決できる領域まで、政府による規制や業界全体の協調に委ねようとしているように見える点である。
最大の問題は中国とのAI競争だ
アモデイ氏の提案には、もう一つ重要な矛盾がある。
それは、中国とのAI競争である。
同氏は、AI開発の速度を抑える必要性を訴える一方、米国と民主主義国家が中国に対するAIの優位性を維持することも重要だと主張している。
米国がAI開発を減速させすぎれば、中国が先行する可能性がある。
一方で、中国との競争を理由にAI開発を加速させれば、安全対策が追いつかなくなる。アモデイ氏の提案は、こうした難しいバランスの上に成り立っている。
しかし、サックス氏の立場からすれば、米国のAI企業が競争を制限する枠組みを作ることは、必ずしも中国との競争に有利に働くとは限らない。
AI開発の速度を抑えれば、米国企業の技術革新や投資のインセンティブが弱まる可能性がある。
その一方で、中国の企業が同じ制約を受ける保証はない。
仮に米国のAI企業だけが開発速度を抑え、中国側がその間に技術力を高めれば、米国の安全保障上のリスクはむしろ増大する。
アモデイ氏自身も、こうした問題を認識している。同氏は、中国へのAI半導体輸出規制や、AIモデルの不正な移転、モデルの窃取への対策を強化する必要があると主張する。
だが、そこには「安全のために減速すること」と「国家安全保障のために競争を維持すること」の緊張関係が存在する。
この問題は、単なる企業の経営判断ではなく、国家戦略の問題でもある。
AI企業の「自主規制」はどこまで信用できるのか
今回の議論で見落としてはならないのは、AI企業が安全性のルールを求めること自体に、必ずしも一つの動機しかないわけではないという点だ。
AI企業は、人類にとってのリスクを真剣に懸念しているかもしれない。
同時に、自社の技術力や資金力を基準にした規制が導入されれば、競合企業に対する優位性を維持できる可能性もある。両者は同時に存在し得る。
だからこそ、AI企業の主張を「安全性を重視しているから正しい」と受け入れるだけでは不十分である。
反対に、AI企業が規制を求めるからといって、その動機がすべて利己的だと決めつけることも適切ではない。
重要なのは、提案される制度が、企業の規模や市場での地位にかかわらず、公平に適用されるかどうかだ。
第三者評価の独立性は確保されるのか。安全性を理由に、企業間の競争が過度に制限されないか。政府が特定の企業に有利な制度を作ることにならないか。
こうした点を検証する必要がある。
「まず自分で止めろ」という単純な問い
アモデイ氏の警告には、無視できない現実的な問題提起が含まれている。
AIの能力が急速に向上し、安全性の研究が追いつかなくなる可能性は、真剣に検討されるべきだ。
AIエージェントによる予想外の行動や、サイバー攻撃への悪用といったリスクも、技術の発展とともに重要性を増す可能性がある。
しかし、だからといって、AI企業が政府に開発速度の調整を求めることが、そのまま正当化されるわけではない。
AI企業は、まず自らの開発計画と安全対策を見直すことができる。
そして、政府に規制を求めるのであれば、その規制がなぜ必要なのか、企業間の競争をどのように維持するのか、そして中国との技術競争にどのような影響を与えるのかを説明しなければならない。
サックス氏の批判は、AI安全性の議論を否定するものではない。むしろ、「AIの安全性を守る責任を、誰が負うべきなのか」という根本的な問いを突きつけている。
AI開発を減速させることが必要だとしても、その決定を政府や業界団体に委ねる前に、最先端AI企業自身が何をできるのかを問う必要がある。
AIの未来を左右するのは、技術の進歩速度だけではない。その速度を決める権限を、誰が持つのかという問題でもある。
コメント