OpenAIが「CriticGPT」を発表、GPT-4のミスをGPT-4で見つける

AIモデルが賢くなるにつれて、出力に含まれる誤りはどんどん巧妙で目立ちにくくなっています。人間のレビュー担当者が気付かないほど精巧なバグが混入し始めたとき、従来の強化学習アプローチは壁に突き当たります。

米OpenAIは6月27日、ChatGPTが生成したコードの誤りを指摘するために特化した新モデル「CriticGPT」を発表しました。

人為的なバグを学ばせて鍛えたレビュアー

現在の対話型AIは、人間が回答を評価して磨き上げるRLHFに支えられています。しかしGPT-4クラスになると、コードの粗を探すこと自体が人間の専門家にとっても大きな負担になっていました。

そこでOpenAIは、人間のトレーナーにChatGPTのコードへあらかじめ手作業でバグを仕込ませ、それをCriticGPTに検出させる訓練を行いました。

実験では、CriticGPTの支援を受けた人間のレビュアーは、単独で作業する人間よりも60%の割合で優れた評価を下せることが確認されました。また、モデルが自然に生み出した実際のバグに対しても、CriticGPTの指摘はChatGPT自身の自己批判より63%の割合で好まれ、不要な粗探しや幻覚が少ないと評価されています。

テスト時の推論探索を調整することで、バグの検出率と誤検知のバランスをコントロールできる仕組みも導入されています。

なぜ重要か

人間による目視レビューだけで最先端モデルの安全性を担保する時代は、いよいよ終わりを迎えつつあります。モデルが人間の能力を超える領域に入った今、「AIを使ってAIを監視する」体制への移行は必然のステップと言えます。

開発現場の視点で見れば、単にコードを自動補完するAIよりも、潜在的な欠陥を冷静に炙り出す特化型レビュアーのほうが実用的な価値を持ちます。見落としがちな例外処理や境界条件のミスを指摘してくれる相棒として、実務への応用が大いに期待できます。

ただし、監視役のモデル自身も幻覚から完全に自由ではありません。CriticGPTが存在しないバグを自信満々に指摘し、それを信じた人間が正しいコードを誤って修正してしまうリスクは残ります。人間がAIの指摘を鵜呑みにし始めた瞬間に新たな死角が生まれるため、人機協調のバランスをどう保つかが今後の最大の課題になりそうです。