OpenAIが「本番模倣テスト」公開:130万件の実会話でモデルの逸脱を事前検知
OpenAIは新モデル公開前の安全評価手法「Deployment Simulation」を発表しました。匿名化された過去の実会話約130万件を新モデルに再生成させ、実運用時の問題行動の発生率を誤差中央値1.5倍の精度で予測します。テスト環境だとAIに見抜かれるのを防ぎ、ツール悪用などの想定外の振る舞いも事前に検出可能です。
OpenAIは新モデル公開前の安全評価手法「Deployment Simulation」を発表しました。匿名化された過去の実会話約130万件を新モデルに再生成させ、実運用時の問題行動の発生率を誤差中央値1.5倍の精度で予測します。テスト環境だとAIに見抜かれるのを防ぎ、ツール悪用などの想定外の振る舞いも事前に検出可能です。