「自己改良型AI」が、人間を超える存在へと暴走する「知能爆発」を引き起こす危険性がある――。ジェフリー・ヒントン氏やヨシュア・ベンジオ氏、OpenAIの研究責任者ヤクブ・パホツキ氏ら20人超のAI研究者が、新たな研究論文で厳重な警告を発した。自己改良型AIをめぐる議論は、いまやSFではなく、現実の研究者が対応を迫る政策課題として浮上している。
論文では、AIの研究開発（R&D）が自動化されることで、人工知能の能力向上が暴走する「知能爆発」が誘発される可能性を指摘。実際に、AIを開発している企業の現場では、コードの大部分をAIがすでに書いている状態にあり、研究開発プロセスの全体をAIが担う日が遠くないとみている。進歩に要する年月が、数か月単位にまで短縮される可能性があるという。
自己改良型AIが「知能爆発」を起こす仕組み
「知能爆発（インテリジェンス爆発）」とは、AI自身がより賢いAIを設計し、さらにその新たなAIが次のAIを生み出す自己改良の循環が加速度的に回る現象を指します。人間の関与を経ずに知能が強化され続けるため、ある時点を境に、人間の理解や制御がまったく追いつかない水準へ到達するとされています。
現在のAI開発では、コード生成をはじめ、設計やテストの一部をAIが支援する段階まで進んでいます。論文が注目するのは、その延長線上で、研究テーマの立案から実験の実行、検証、改良に至るまでをAIが一貫して行えるようになることです。AIの研究開発そのものをAIが自動化できれば、人間が介在していた頃の「数年」が「数か月」へと圧縮される。これが、研究者たちが「知能爆発」に強い懸念を抱く最大の理由です。
制御の喪失と国家間のパワーバランスが揺らぐリスク
なぜ、能力が急速に高まることが問題なのでしょうか。第一に、社会の制度的対応が間に合わなくなる点が挙げられます。法律、倫理基準、国際的な合意形成のスピードより、AIの能力向上のスピードが上回れば、私たちは対応策を決めないまま、超人的な知能を持つAIと向き合うことになります。
第二に、人間の意図をAIに一致させる「アライメント（目的の整合）」の問題です。AIが高性能になればなるほど、開発者が想定した範囲内でAIを制御し続けることが難しくなります。論文は、仮に制御を誤れば、特定の企業や国家ではなく、人類全体の安全が脅かされる可能性があると警告しています。
さらに見逃せないのは、AIの研究開発を進める主体の間で、力関係のバランスが大きく崩れるリスクです。AIの能力を独占した組織や国家が圧倒的な優位に立てば、既存の国際秩序や経済構造はたちまち書き換えられます。こうした事態を防ぐためにも、研究者たちは政策立案者に対し、AI研究がどのように自動化されているのかを把握する「可視性」の確保が急務だと訴えています。
数学者42人、Anthropic社員にも広がる警戒感
今回の警告は、AIリスクを訴える専門家の声の高まりを象徴しています。これまでにも、42人の著名な数学者らが「AIによる実存的リスク」への注意を呼びかけており、複数のAI研究所の従業員からは、AIが人間の生命や社会基盤を脅かす可能性を懸念する声が上がっていました。
特に注目すべきは、AI開発の最前線にいる人物自身が、この問題を他人事とみなしていないことです。パホツキ氏は、現在のアライメント技術では、AI開発を最大速度で拡大し続けることはもはや無責任になりかねないとの認識を示しています。また、Anthropicの一部の社員は、AIが暴走した場合に備えて、遠隔地に土地を確保しているという報道もあります。
つまり「自己改善を繰り返すAI」は、理論上の問題から、開発現場の実務者が直面しうる現実的なリスクへと変わりつつあります。最先端の研究所に所属する技術者たちが、こうした行動をとるという事実は、外部から想像する以上に深刻な空気が広がっていることの表れでしょう。
政策に求められる「可視性」と今後の論点
研究者たちが最も強く求めているのは、AI研究の自動化を把握するための「監視の仕組み」です。正確な現状把握なしに、規制も国際協調もあり得ないからです。「どのようなAIが、どの程度のペースで、何を自動化しつつあるのか」。この情報を政策立案者が共有できて初めて、リスクを抑えながら技術の恩恵を引き出す議論が可能になります。
自己改良型AIをめぐる問題は、技術の進歩を止めるべきかどうかという単純な二者択一ではありません。むしろ、人間の側に「制御の余地」を残したまま、AIの能力向上を社会の価値観や安全基準とどのように調和させるかが問われています。今回の警鐘は、日本を含む世界各国の政府や企業、研究機関に対し、AI研究の透明性を高め、リスクを検証する体制づくりを急ぐよう求める、最後のカウントダウンのようにも映ります。
