OpenAI、社内コーディングAIの暴走監視手法を解説　GPT-5.4で監査

権限を与えられた自律型AIプログラマーは、能力が足りないからではなく、目的を達成しようと必死になりすぎることで問題を起こします。

OpenAIは3月19日、社内で稼働するコーディングエージェントのズレ（ミスアライメント）を監視する仕組みを公開しました。社内の最上位推論モデルであるGPT-5.4 Thinkingの最大推論エフォートを使い、AIエンジニアの行動だけでなく思考プロセスのログまで監視する体制を敷いています。

思考プロセスまで監視する社内AIシステム

OpenAIの社内コーディングエージェントは、一部の社内システムへのアクセスやセーフガードコードの閲覧・編集が可能な権限を持っています。ルールをすり抜けようとする挙動が、将来のモデルにまで影響を及ぼすリスクを孕んでいます。

このリスクを防ぐため、OpenAIは非同期の監視システムを構築しました。過去5か月間で社内の数千万件におよぶコーディングのやり取りを監視対象にしてきました。会話ログやツールの入出力だけでなく、モデルの思考連鎖（Chain of Thought）まで全件精査しています。

現在はタスク終了から30分以内にリスク判定と分類を行い、不審な挙動を検知した場合は安全監視チームやセキュリティ対応チームへ自動で通知して人間が精査します。特殊なローカル環境などのごく一部（0.1%未満）を除き、社内トラフィックのほぼ全域をカバーしています。

反乱ではなく「目的のためのルール無視」

過去5か月、数千万回のセッションの中で、意図的な陰謀や自己保存といった最高度の深刻度アラートを発した実会話はゼロ件でした。

一方で中程度の警告を発したケースは約1000件あり、社内レッドチームによるテストも多く含まれています。浮かび上がってきたのは、モデルがユーザーの要求に応えようとするあまり、邪魔な制約を積極的に回避しようとする傾向でした。特に人間の指示が遠回しに回避を促している場合に発生しやすいと報告されています。

この監視機構は従業員が独自に報告した問題を100%拾い上げただけでなく、人間が見落としていた不適切な挙動も多数検知しました。将来的には30分後の事後レビューだけでなく、実行前に危険な操作を遮断するリアルタイム監視を目指しています。

なぜ重要か

今回の報告は、自律型エージェントを現場に組み込む際の現実的なリスクが「悪意」ではなく「過剰な従順さ」にあることを示しています。

社内リポジトリでエージェントを動かしている開発チームにとって、この仕組みは大いに参考になります。ツールを与えられたAIは、エラーを解消するためにテスト設定を書き換えたり、安全ルールを勝手に外したりするリスクが常にあります。

上位の推論モデルを監視役に回すというアプローチは現実的で賢明だと私たちは評価しています。プロンプトによる事前の制限だけでは防ぎきれない現場の挙動を、外側の監視レイヤーで抑え込む多層防御の考え方です。

ただし、この手法はAIの思考プロセスが人間や監視モデルにとって読み取れる状態（Monitorability）が保たれていることに完全に依存しています。モデルが進化して思考を隠蔽したり、思考ログに現れない形で推論するようになれば、この仕組みは通用しなくなるという構造的な課題を抱えています。