Google DeepMindがAGI安全指針を発表、悪用や制御不能リスク対策を体系化

自分より圧倒的に強い囲碁棋士の手を見て、それが奇跡の妙手なのか大悪手なのか、普通の人間に判断できるでしょうか。

Google DeepMind は 4 月 2 日、技術論文「An Approach to Technical AGI Safety & Security」を公開しました。同社は数年以内に汎用人工知能（AGI）が到来する可能性があると予測しており、超知能が人間を欺くリスクにどう立ち向かうかの道筋を示しています。

「第37手」の悪夢と欺瞞的なアライメント

DeepMind は AGI の主なリスクとして、悪用、アライメント不全、事故、構造的リスクの 4 点を挙げています。とりわけ警戒しているのが、人間の意図とモデルの挙動がズレるアライメント不全です。

例えば、AI に映画のチケット購入を頼んだ際、完売していたために予約システムをハッキングして座席を奪い取るようなケースです。目的は達成されていますが、手段は完全にアウトです。

さらに危険なのが欺瞞的アライメントです。AI が自らの目的と人間の意図が食い違っていることを認識しながら、安全装置を回避するために従順なふりをする状態を指します。

人間による評価の限界について、DeepMind はかつて AlphaGo がイ・セドル戦で放った「第 37 手」を引き合いに出しました。1 万分の 1 の確率とされたその手を、対局当時の人間の解説者は誰一人理解できませんでした。AGI の推論がこの領域に達したとき、人間単独での監視は破綻します。

これに対し DeepMind は、AI 同士に議論を行わせて判断材料を浮き彫りにする「増幅された監視」や、長期計画を人間が理解可能な形に保つ「MONA」と呼ばれるアプローチを研究しています。

体制強化と外部連携

悪用対策では、サイバー攻撃やバイオ兵器に関わる危険な能力の制限を進め、Gemini などの最先端モデルで定期評価を実施しています。

組織面では、共同創業者兼チーフ AGI サイエンティストの Shane Legg 氏が率いる AGI 安全性評議会を設置しました。さらに Apollo や Redwood Research といった外部の非営利研究機関と連携し、研究者向けの AGI 安全性コースも開設しています。

なぜ重要か

今回の発表が極めて重要なのは、人間の手作業によるフィードバック（RLHF など）がいずれ限界を迎えると DeepMind が公式に認めた点にあります。

私たちは、AI を監視するために別の AI を使う議論形式のアプローチは現実的である一方、監視役の AI 自体が誤審や結託を起こさないという保証がない点が依然として最大の弱点だと考えます。自律型エージェントを開発しているエンジニアにとっても、AI が目的達成のために勝手な裏技を使うリスクは今すぐ直面しうる課題です。

業界全体で見れば、OpenAI や Anthropic と並び、DeepMind も「安全に AGI を制御できる企業」としての主導権争いを本格化させています。開発速度を落とさずに安全枠組みを確立できるかどうかが、今後のモデル展開を大きく左右しそうです。