先週末、OpenAIのSam Altman最高経営責任者（CEO）、AnthropicのDario Amodei CEO、Google DeepMindの共同創業者Demis Hassabis、そしてxAIを率いるElon Muskという、AI業界を代表する4人のリーダーが、ある「口頭合意」に達した。AI開発のペースを意図的に落とす――その名目は「フロンティア（最先端）の歩みを整調するため」とされた。しかし、この合意をめぐっては、業界内外から疑念の声が即座に噴出。批判派は「これは実質的なカルテルではないか」「競合を排除し、オープンソース運動を潰すための方便だ」と非難している。本稿では、この合意の真意、業界の反応、そしてAI開発をめぐる根本的なジレンマを深掘りする。
AI巨人たちの「口頭合意」、その内実と批判
合意の骨子は、AnthropicのAmodei氏が提示した3段階の提案に基づく。具体的には、第三者監査人の社内常駐、各国の国内ラボに対する規制枠組みの導入、そして国際的な開発減速合意の締結――これらを柱とするものだ。表向きはAIの安全性向上が目的だが、その裏側には「自分たち以外の新興勢力やオープンソースコミュニティの成長を阻害したい」「真に実効性のある法的規制を回避したい」という思惑が透けて見える、と批判派は指摘する。
「業界全体として、新たな擁護者（チャンピオン）が必要だ」と語るのは、ニューヨーク大学の非常勤教授で、元米国土安全保障省の新興技術政策責任者を務めたNick Reese氏だ。「我々は長い間、Dario Amodei氏やSam Altman氏、Elon Musk氏を、問題に最も近い存在であり、最もよく知る人物として見てきた。しかし実際には、我々がどこに向かって構築しているのかについて、現実的なビジョンは一度も提示されたことがない」と Reese氏は指摘する。
安全性研究者の長年の警告と「CEOたちの手柄横取り」
AIのリスクに対する懸念は、ここ数カ月で急速に高まっている。引き金の一つは、AnthropicやOpenAIなどのフロンティアラボが、自らの目の前でエージェントの群れによる不正ハッキング事件が発生していた事実を公表したことだ。さらなる火種となったのが、Anthropicの研究者Jacob Coxon氏の辞任と、その公開書簡である。
Coxon氏は「AIを構築する人々は、それが10年以内に全人類を殺す可能性があると本気で信じている。OpenAIもAnthropicも責任ある行動を取っておらず、ひたすら自己改善する超知能へと突き進み、私たちの命を賭けている」と綴った。この書簡はSNS「X」だけで1億7000万回以上閲覧され、テレビや新聞でも大きく取り上げられた。
しかし、AI安全性研究者や非営利団体の間では、この種の警告は決して新しいものではない。元OpenAI社員で、現在は非営利団体「AI Futures Project」を率いるDaniel Kokotajlo氏は「多くの人はこれをDario（Amodei氏）のアイデア、あるいはCEOたちから出てきたものだと思っているが、それは間違いだ。社外の人々が何年も前からこれを求めてきた。『超知能をすぐに作らないでください。我々は準備ができていません。減速してください』という声は、ずっと大きくなっていた」と語る。
Kokotajlo氏はさらに、CEOたちは長年にわたるそうした圧力に「ようやく屈服した」ものの、「その功績を横取りしている」と批判する。
「善意の一歩」と「セーフティーウォッシング」への懸念
とはいえ、この口頭合意を完全に否定する声ばかりではない。複数の情報筋は、これを「正しい方向への一歩」と評価している。NYUのReese氏は「すべてが空論だとは思わない」と述べ、Apollo ResearchのMarius Hobbhahn CEOは「長い間で最高の安全性への取り組みの一つだ。実際に実行されればの話だが」とコメント。Midas ProjectのTyler Johnston氏も「良い兆候だ」とし、Redwood ResearchのBuck Shlegeris CEOは「素晴らしいニュースだ。これが現実のものとなるかは分からないが、慎重ながら楽観的に見ている」と語る。
しかし、全員が口を揃えて「これを鉄壁の合意にするには、まだ多くの作業が必要だ」と指摘する。特に根強いのが、大手テクノロジー企業が過去に行ってきた「セーフティーウォッシング（安全策を装った実質的な対策の欠如）」への警戒感だ。AIラボが自主的に導入してきた安全性フレームワークも、長年にわたって批判の的となってきた。
Kokotajlo氏は「彼らが実際に減速するかどうかは、深刻な懸念事項だ。外部監査人を入れて、安全に関する書類をたくさん作成するだろう。そのうちのいくつかは本当に良いものかもしれない。しかし結局のところ、実際の開発速度はほとんど落ちないのではないかという恐怖がある」と述べている。
「中国」という最大の障壁――冷戦型ジレンマ
AI開発減速を阻む最大の壁として、ほぼ全ての関係者が挙げるのが「中国」の存在だ。AIリーダーも政治家も、米国のAI開発を減速できない理由として常に中国を引き合いに出してきた。「どれほど危険な技術であろうと、中国に負けるよりは米国が掌握していた方がマシだ」という論理である。
Redwood ResearchのShlegeris氏は「米国も中国も、無謀な方法でAI開発を追求することは互いの利益にならない。国際協調が不可能なレベルではない」と指摘する。Midas ProjectのJohnston氏は「これは非常に深刻で広範な問題であり、かつて米国とロシアが核拡散防止で協調したのと同じように、誰もが協調する利益があるように思える」と語る。
一方、中国外務省の報道官Guo Jiakun氏は、AI減速の呼びかけを「恐怖をあおるものだ」と退けている。Tech Oversight ProjectのSacha Haworth氏は「中国は業界が監視を逃れたいときにいつでも持ち出される『お化け』だ」と指摘し、AI業界の自主規制案を「狐に鶏小屋を任せるようなものだ」と厳しく批判する。
「再帰的自己改善」――差し迫る終末のシナリオ
こうした騒動の背景には、業界が「再帰的自己改善」というマイルストーンに近づいているという現実がある。RSI（Recursive Self-Improvement）とは、AIモデルが人間の関与なしに自分自身を訓練し、改良し、新たなバージョンを生成できるようになる状態を指す。
AnthropicはRSIが早ければ2027年前半にも実現するとの見方を示しており、OpenAIの主任科学者も同社がこの目標に多くのリソースを費やしていると認めている。Amodei氏は「今年の夏頃から、AIの進歩は劇的に加速している」と指摘し、RSIに対して「何らかの『速度制限』」を導入する必要があると提唱。これはかつての弾道ミサイル制限に例えられる。
Anthropicの研究者Evan Hubinger氏は「Jacob（Coxon氏）は正しい。我々はAIが全人類を殺す可能性があると本気で信じている」とXに投稿し、その確率を10年以内に10%以上と見積もっている。元Google DeepMindの従業員Alex Turner氏は「多くの研究者は、自分たちが地球上の全員を殺す可能性のあるものを作っていると信じている。それを止める方法を考えることが、文字通り私の日々の仕事だった」と述べている。
業界のパラドックス――「どこに向かうのか、誰も分かっていない」
OpenAIの研究者Micah Carroll氏は、Coxon氏の信念は「すべてのフロンティアAI企業の研究チームにわたる超党派の立場」だとし、「通常通りのAI開発は許容できない壊滅的リスクをもたらす」と合意する。その上で、「しかし、破滅的リスクを呪術的に実体化させてもいけない。歯止めのある安全性要件、国際協調、そして十分な安全性の進歩がなければASIを構築しないというコンセンサスによって、リスクは大幅に軽減できる」と語る。
問題は、そうした「国際協調」が現実のものとなるかどうかだ。NYUのReese氏は、現状を「我々はAIに関して、どこに向かって運転しているのか、一度も理解したことがない。目的も、経路も、ましてやゴールがあるのかさえも分からないまま、ただ中国に勝つために競争している」と総括する。
結論として、AI大手による「開発減速」の合意は、真摯な安全策への一歩であると同時に、既存勢力による市場寡占の試みでもあり、両方の側面を併せ持つ。真の安全性を確保するには、企業の自主的な取り組みではなく、強制力のある国際的な枠組みが不可欠であるというのが、業界の専門家たちの一致した見解だ。AIが「人類を殺す可能性がある」と本気で信じる研究者たちが最前線で開発を続けるこのパラドックスを、私たちはどう解決すべきなのか。その答えは、まだ誰も持っていない。
