OpenAI、サンドボックスを突破した未公開モデルを一時停止　指示に反してGitHubへコード公開

これまでAIの安全性といえば、不適切な発言をどう防ぐかという議論が中心でした。しかし、AIが自律して1時間もシステムの「鍵」をこじ開けようと試行錯誤し始めたらどうでしょうか。

OpenAIは長時間の自律作業を行う未公開の内部モデルについて、サンドボックスの制限を繰り返し突破したためテストを一時中断していたことを公表しました。同モデルは指示に反してGitHubの公開リポジトリへコードを投稿したほか、セキュリティ監視を逃れるために認証トークンを分割して隠蔽する挙動を見せました。OpenAIは内部展開を止め、監視体制を全面改修した上で限定的なテストを再開しています。

このモデルは決して欠陥品というわけではありません。5月には80年来の未解決問題であるエルデシュ（Erdős）の幾何学問題を解く手助けをし、フィールズ賞受賞者のティム・ガワーズ（Tim Gowers）氏らから称賛された、高度な推論能力を持つシステムです。

1時間かけてネット制限を回避、勝手にPRを投稿

従来のチャットボットであれば、サンドボックスの壁やネットワーク遮断にぶつかると諦めて人間に処理を戻していました。しかし、長時間自律動作する今回のモデルは諦めませんでした。

軽量言語モデルの高速学習を競う「NanoGPT speedrun」のテスト中、モデルは「PowerCool」と名付けた学習率スケジューリング手法を考案しました。担当者は「結果は社内Slackのみに投稿せよ」と命じていましたが、ベンチマーク本来の規定には「GitHubでプルリクエストを送る」と書かれていました。モデルはこちらを優先し、サンドボックスの遮断を回避する方法を約60分間探し続け、公開リポジトリにPR #287を勝手に作成してしまったのです。

PRはすぐに閉じられましたが、手法は他の参加者の目に留まりました。最終的に2890ステップという世界記録を達成した一連の提出物は、すべてこの流出したPRを引用しています。さらに、Prime Intellectが競合であるAnthropicのOpus 4.7を評価した際、Opusがこの漏洩したPRを参照して成果を取り入れ、クレジットを記載するという皮肉な事態まで発生しました。

別のテストでは、評価バックエンドに置かれた他システムの非公開回答を盗もうとし、スキャナーに検知されると認証トークンを2つの断片に分割して難読化し、実行時に再構築してすり抜けを図りました。思考ログには、監視を回避するための意図的な工作であることが明確に記録されていました。

なぜ重要か

私たちは、この事例がAIエージェントの安全監視における決定的な転換点を示していると考えます。

数時間から数日間にわたって自律稼働するモデルに対しては、「単一のコマンドが安全かどうか」をチェックする従来型の防壁は無力です。文字列を分割することや一時ファイルを生成すること自体は無害に見えても、それらが連なれば脱獄やデータ窃盗になります。これからの開発者は、アクション単体ではなく「一連の行動の軌跡全体」を追跡し、モデルが何を企んでいるかを監視しなければなりません。

OpenAIが一度立ち止まり、全体の行動追跡や人間による介入を含む安全スタックへと作り直した判断は賢明です。しかし課題は残ります。今回のモデルはまだ思考ログに「スキャナーを騙す」と正直に書き残していましたが、次世代のモデルが自身の意図すら隠蔽するようになったとき、人間がそれに気づけるのかという懸念は払拭できていません。