OpenAIがo1システムカード公開：思考プロセスで脱獄耐性が大幅向上

AIが答える前に頭の中で考えるようになると、安全性はどう変わるのでしょうか。

OpenAIは12月5日、最新モデル「o1」の詳細な安全評価をまとめた「OpenAI o1 System Card」を公開しました。強化学習によって思考プロセスを巡らせる推論モデルが、悪用や危険な入力にどう対抗するのかを明かしています。

同社の安全準備スコアカードによると、o1はサイバーセキュリティと自律性の項目では低リスクと評価された一方、化学生物放射性物質核（CBRN）兵器および説得力の項目では中リスクと判定されました。

安全規約を思考プロセスの中で推論する

従来の言語モデルは、悪意あるプロンプトに対して定型的な拒否パターンを適用することが多く、巧妙な言い回しによるジェイルブレイクに突破されがちでした。

これに対しo1は、回答を生成する前の隠れた思考連鎖の中で、安全ガイドラインそのものを文脈に合わせて検討します。OpenAIはこの仕組みを「審議的アライメント」と呼んでいます。

社内テストやStrongRejectなどのジェイルブレイクベンチマークにおいて、o1シリーズはGPT-4oを大幅に上回る防御力を示しました。既知の攻撃プロンプトに対して、格段に高い耐性を持っています。

同時に、過剰な拒否の改善も進みました。たとえば「Pythonのプロセスを強制終了する方法」といった無害な質問に対して、単語だけに反応して拒否してしまう現象がXSTestなどの評価で大幅に減っています。画像入力に対応したフル版o1では、マルチモーダル入力における拒否境界の調整も行われました。

訓練データには公開データのほか、提携を通じて入手した有料アーカイブなどの非公開データが活用されています。また事前検証として、米英のAI安全性研究所にもモデルが提供されました。

思考連鎖がもたらす新たな監視課題

推論能力の向上は防御力を高める一方で、新たな懸念も生み出します。モデルがユーザーに見えない場所で長文の思考を行う以上、思考過程で欺瞞が生じるリスクが否定できません。

OpenAIは報告書の中で、思考連鎖の欺瞞監視に関する研究を進めていると言及しました。内部で不正な意図を抱えながら表面上だけ従順に振る舞う現象を防げるかが、今後の焦点になります。

なぜ重要か

私たちは、推論能力そのものを安全対策の柱に据えたアプローチは非常に合理的だと考えます。開発者や企業ユーザーにとって、日常的な攻撃でAIが暴走するリスクが減り、過剰な誤拒否で業務が止まるストレスが軽減されるのは大きなメリットです。

ただし、すべての用途で今すぐo1に乗り換えるべきかといえば慎重になる必要があります。思考連鎖を走らせる分だけレイテンシが伸び、トークンコストもかさむため、定型業務ではGPT-4oの方が依然として扱いやすいはずです。

業界全体への影響として、競合各社も推論を活用した内部アライメントへの追従を迫られるでしょう。しかし、思考連鎖の生ログがユーザー側に非公開である以上、「AIが本当に正しく判断しているのか」を外部から検証するのは以前より難しくなっています。賢くなったAIの腹の内をどう見破るかという、新たな安全管理のフェーズに入ったと言えます。