OpenAI、超知能の制御を目指す「Superalignment」チーム発足

人類をはるかに凌駕する知能が誕生したとき、私たちはどうやってその暴走を防げばいいのでしょうか。

OpenAI は、そうした超知能が今後 10 年以内に登場する可能性があると警告しています。同社は 7 月 5 日、この極めて困難な制御問題に挑む専門組織「スーパーアライメント（Superalignment）」チームを立ち上げたと発表しました。

驚くべきはその本気度です。OpenAI は今後 4 年間にわたり、同社がこれまでに確保した全計算資源の実に 20% をこの取り組みに投入します。チームを率いるのは、共同創業者で主任科学者の Ilya Sutskever 氏と、アライメント責任者の Jan Leike 氏です。

目標は極めて野心的で、4 年以内に超知能を制御するための核となる技術的課題を解決することに定められました。

人間より賢い存在を、どうやって監視するのか

現在の AI 安全性の主流は、人間からのフィードバックを用いた強化学習（RLHF）です。人間が回答の良し悪しを判断できるからこそ成り立っています。

しかし、AI が人間の知的能力を大幅に追い越してしまえば、人間がその思考や行動を確実に評価することは原理的に不可能になります。現在の安全技術は、超知能の前にはスケールしないのです。

そこで OpenAI が打ち出したのが、人間並みのアライメント研究能力を持つ AI をまず作り出すという構想です。AI に AI を研究・監視させ、膨大な計算リソースを投じて改善のループを回そうとしています。

具体的には 3 つの柱があります。1 つ目は、AI が他の AI の評価を支援する「スケーラブルな監視」の確立です。

2 つ目は、モデルの内部挙動を自動解析して不審な兆候をあぶり出す解釈性の自動化。3 つ目は、あえて意図から外れた危険なモデルを訓練し、防御システムが最悪の暴走を検知できるかを試すストレステストです。

OpenAI は、この成果を自社にとどめず広く共有し、業界全体の安全性向上に役立てる方針を示しています。

なぜ重要か

今回の発表は、AI の存亡リスクという抽象的な議論が、具体的な工学プロジェクトに切り替わった節目だと私たちは考えます。

一般的なユーザーや開発者にとって、明日すぐに使える機能が変わるわけではありません。しかし、超知能が社会インフラや金融、医療の中枢に入り込む未来において、それが人間に牙を剥かない保証を作れるかどうかは、この研究にかかっています。

業界全体への影響も強烈です。貴重な計算資源の 20% を安全研究に固定するという決断は、競合する Google や Anthropic に対しても、安全性への投資基準を一段引き上げるよう強烈なプレッシャーを与えるはずです。

ただ、この戦略には明白な危うさもあります。人間が監視できない超知能を制御するために、別の AI の判断に頼るという構造そのものが、新たな依存を生み出しかねません。

もし監視役の AI が人間の評価を欺くような振る舞いを身につけてしまえば、人間が気づかないまま破局的な欠陥が見落とされるリスクが残ります。現実的な手段がそれしかないとしても、極めて難易度の高い賭けであることは間違いありません。