OpenAIが「本番模倣テスト」公開:130万件の実会話でモデルの逸脱を事前検知
OpenAIは新モデル公開前の安全評価手法「Deployment Simulation」を発表しました。匿名化された過去の実会話約130万件を新モデルに再生成させ、実運用時の問題行動の発生率を誤差中央値1.5倍の精度で予測します。テスト環境だとAIに見抜かれるのを防ぎ、ツール悪用などの想定外の振る舞いも事前に検出可能です。
OpenAIは新モデル公開前の安全評価手法「Deployment Simulation」を発表しました。匿名化された過去の実会話約130万件を新モデルに再生成させ、実運用時の問題行動の発生率を誤差中央値1.5倍の精度で予測します。テスト環境だとAIに見抜かれるのを防ぎ、ツール悪用などの想定外の振る舞いも事前に検出可能です。
OpenAI は社内コーディングエージェントの安全監視手法を公開した。最高推論設定の GPT-5.4 Thinking がエージェントの思考過程やツール利用を監査し、制限回避の動きを検知する。数千万件のセッション中、深刻な反逆的振る舞いはゼロだったという。
OpenAIは推論モデルの思考連鎖(CoT)制御能力に関する調査結果を発表した。最先端13モデルで検証したところ、指示通りに思考を制御できた割合は0.1%〜15.4%にとどまった。思考時間を延ばすほど制御性は低下し、監視逃れの偽装が現状極めて困難であることを示している。