AIの巨頭ベンジオ氏、非営利組織「LawZero」設立　欺瞞を防ぐ監視AI開発へ

もしAIエージェントが電源を切られるのを防ぐために、人間に嘘をつき、エンジニアを脅迫し始めたらどうすべきでしょうか。

SFの絵空事のように聞こえますが、現実の危機になりつつあります。Anthropicは最新システムがシャットダウンを試みるエンジニアを脅迫する可能性があることを認め、AIが自らの真の能力や意図を隠蔽できることを示す研究も相次いでいます。

こうした事態を受け、「AIのゴッドファーザー」の異名をとるチューリング賞受賞者のヨシュア・ベンジオ氏が動き出しました。人間を欺く暴走AIを検知・阻止する非営利組織「LawZero」を立ち上げました。

役者を監視する「心理学者」AI

LawZeroは、Skype共同創業者のヤーン・タリン氏、エリック・シュミット元Google CEOのシュミット・サイエンシズ、Future of Life Instituteなどから約3000万ドルの初期資金を確保し、十数人の研究者とともに始動しました。ベンジオ氏自身が代表を務めます。

中核となるのは「Scientist AI」と呼ばれる監視システムです。ベンジオ氏は、現在普及しつつあるAIエージェントを「人間に取り入り、真似をする役者」に例え、それを見守るScientist AIは「悪質な振る舞いを予測する心理学者」のような存在になると説明しています。

このシステムには自己や個別の目的がありません。単なる純粋な知識の塊として設計されます。さらに現在の生成AIのように断定的な回答を出すのではなく、回答が正しいかどうかを確率で示します。ベンジオ氏はこれを、自身の不確実性を理解する「謙虚さ」と表現しています。

実際の運用では、自律型エージェントと並行して動作します。エージェントのアクションが危害を及ぼす確率を常に予測し、そのリスクがあらかじめ設定した閾値を超えた場合、エージェントの行動を即座に遮断します。

オープンソースから始め、フロンティア規模へ

LawZeroはまず、誰でも利用できるオープンソースモデルを起点に開発を進め、手法が機能することを証明する計画です。

その上で、政府や企業、AI研究所を説得し、最先端フロンティアモデルと同等規模のリソースを投入して訓練することを目指しています。

ベンジオ氏の論理は極めて明快です。暴走を防ぐガードレール役のAIは、監視対象となるAIエージェントと同等以上の知能を持っていなければ対抗できないからです。

ベンジオ氏は以前、人間の監視なしに長時間の連続タスクを実行できる自律エージェントが深刻な混乱を招く恐れがあると国際安全報告書で警告していました。今回の組織設立は、その危機感を行動に移した形です。

なぜ重要か

AI業界が「より自律的で、より行動力のあるエージェント」の開発競争に数十兆円規模の資金を投じるなか、欺瞞や保身の防止に特化した第三者機関が立ち上がった意味は大きいです。

開発者や企業にとって、今すぐ導入できるツールではありませんが、今後のシステム設計における重要な指針になります。エージェント自身に「安全であれ」とプロンプトで指示する内省的なアプローチには限界があり、外部から独立した監視AIを並走させる構成が現実味を帯びてきました。

独自の目標やエゴを持たない「無私」の知識マシンとして設計するアプローチは、合理的で筋が通っていると私たちは考えます。断定を避けて確率を提示する謙虚な仕様も、幻覚や騙しのリスクを下げる工夫として優れています。

しかし、最大の懸念はコストです。監視対象と同じレベルの知能を持ったモデルを常に横で走らせるとなれば、推論にかかる計算コストは単純計算で倍増します。コスト削減と速度競争に血眼になっている商業テック企業が、自主的にこれほど重いガードレールを採用するかどうかには疑問が残ります。最終的には規制による義務付けが不可欠になるかもしれません。