「AIが人類を滅ぼす確率は10％超」 Anthropicの安全責任者が警鐘

最前線でAIを開発しているエンジニアが「10年以内に人類が滅亡する確率が1割以上ある」と語り、しかも対策が存在しないと認めたら、誰もが言葉を失うはずです。

その告発が、業界で最も安全性を重視してきたはずのAnthropicの内部から飛び出しました。

退職した研究者の抗議に、現役の安全対策チームリーダーが公に同調するという異例の事態が起きています。

辞任した研究者と、それを肯定した安全責任者

発端は、OpenAIとAnthropicの双方でAIシステムのトレーニングを担当してきた研究者、Jacob Coxon氏の辞任表明でした。

Coxon氏は自身のXへの投稿で、Anthropicの安全性への取り組みが緩慢になっていると批判。同社とOpenAIが制御不能な自己改善型超知能の開発競争に突き進み、人命を危険に晒していると非難しました。

さらに同氏は、AIを作っている当事者たち自身が「今世紀末までにAIが全人類を殺す可能性がある」と本気で信じていると暴露しました。

これに対し、AnthropicのAI安全チームを率いるEvan Hubinger氏が公然と同意を示しました。

Hubinger氏は、AIの自己改善は予想以上のスピードで進んでいると指摘。今後10年以内にAIが全人類を滅亡させる確率は10パーセントを超えると個人的に見積もっていると明かしました。

衝撃的なのはその先です。Hubinger氏は、Anthropicが高度なAIの安全性を確保するための計画を「まだ持っておらず、策定に向けた軌道にも明確には乗っていない」と明かしました。

安全の砦とされた企業で何が起きているのか

Anthropicはもともと、OpenAIの安全性軽視を懸念した元メンバーがスピンオフして立ち上げた企業です。

その同社から、まったく同じ理由で研究者が離脱したという事実は、業界全体に大きな衝撃を与えています。

現在、多くのAIコードがAI自身の支援によって書かれており、自律的な自己改善の危険性は理論上の話ではなくなりつつあります。

株式公開の準備が進む中、競合に先んじるための圧力が高まり、リスクを認識しながらもブレーキを踏めないチキンレースが続いています。

なぜ重要か

今回の騒動は、Anthropicが掲げてきた「安全重視」という最大の看板が実態を伴わなくなっている現実を浮き彫りにしました。

先端モデルを利用する開発者や企業にとって、自分たちが基盤にしている技術の作り手自身が、制御不能なリスクを抱えながら開発を加速させているという事実は重大な懸念材料です。

業界全体から見れば、自発的な倫理観に頼ったAIガバナンスが限界を迎えていることを証明しています。先陣争いと資本市場からのプレッシャーがある限り、一社だけが歩みを止めることは構造的に不可能です。

Hubinger氏の率直さは評価できるものの、破滅のリスクを公言しながらアクセルを踏み続ける業界の姿は異様に見えます。研究者の個人的な告発や辞任に頼るだけでは、自己改善型AIの暴走を防ぐことは極めて困難であると言わざるを得ません。