OpenAI、新AI「o1」の思考プロセスを探るユーザーにアカウント停止を警告

隠されると余計に見たくなるのが人の性です。OpenAIが「Strawberry」のコードネームで呼ばれていた新モデル「o1」シリーズを公開してまだ数日ですが、その思考回路を覗き見ようとしたユーザーに対して、同社がアカウント停止を警告するメールを相次いで送りつけています。

プロンプトの言葉遣いひとつで、いきなり警告対象になるケースも出ています。

見せられている思考は清書された別物

従来のGPT-4oとは異なり、o1-previewとo1-miniは回答を出す前にステップ単位で熟考するよう訓練されています。ChatGPTの画面でも、モデルがどう考えたかのプロセスを開いて読むことができます。

しかし、画面に表示されるのは生の思考プロセスではありません。OpenAIは意図的に生の思考ログを隠しており、別のモデルを使って要約・加工したフィルター済みのテキストだけを見せています。

本物の思考を見たいハッカーやセキュリティ研究者たちは、脱獄プロンプトを使って生ログを吐き出させようと試行錯誤を始めました。

推論ログという単語だけで検知

OpenAIはこの動きを厳しく監視しており、検知システムを即座に作動させています。

Scale AIのプロンプトエンジニアであるライリー・グッドサイド氏らによると、会話の中で「reasoning trace（推論トレース）」といった単語を使ったり、推論の仕組みを詳しく尋ねたりするだけで警告メールが飛んでくる状態です。

メールには、安全措置の回避を禁じる利用規約に違反したと記されており、繰り返した場合はo1の社内呼称である「GPT-4o with Reasoning」へのアクセス権を剥奪すると警告されています。

Mozillaで生成AIバグ報奨金プログラムを担当するマルコ・フィゲロア氏も警告を受けた一人です。正当な安全検証を行っていた最中に警告が届き、BAN対象リストに入れられてしまったと不満の声を上げています。

なぜ重要か

研究者や開発者にとって、現時点でo1の思考ロジックを深掘りするのはリスクが高すぎます。通常のアカウント検証でもアクセス権を失う恐れがあります。

この騒動は、推論モデルという新領域における競争の激しさを物語っています。生の思考トレースには、モデルの弱点だけでなく、他社が模倣して学習に使える貴重なデータがそのまま詰まっています。

私たちは、OpenAIの今回の対応はやや過敏で強硬に過ぎると考えています。生のログを秘匿したい動機は理解できますが、純粋な安全研究者まで一律でBANの脅威に晒すやり方は、研究コミュニティとの信頼関係を損ねる原因になりそうです。