AnthropicがAIによる安全研究を実験：ClaudeがPGRを0.97まで改善

人間を超える知能を持つAIが登場したとき、私たちはどうやってその安全性を確認し、意図通りに制御すればいいのでしょうか。この「スケーラブルな監視」と呼ばれる難問に対して、Anthropicがユニークな実験を行いました。Claude自身に、自分たちを制御するためのアライメント手法を研究させたのです。

同社は9つのClaude Opus 4.6インスタンスを用意し、それぞれに作業用サンドボックス、成果共有フォーラム、コード保管庫、スコア評価サーバーを与えて自律的な研究員チームを編成しました。取り組んだ課題は、能力の低いモデルを教師役にして、より優秀な未調整モデルを訓練する「弱者から強者への指導」問題です。

5日間でギャップの97パーセントを回収

比較の基準として、人間の研究者2名が先行研究の汎化手法を用いて7日間実験を行いました。オープンウェイトモデルであるQwen 1.5-0.5B-Chatを教師、Qwen 3-4B-Baseを生徒として指導したところ、埋められた性能ギャップは23パーセントにとどまりました。

ところがClaudeの研究員チームに引き継ぐと、事態は一変しました。追加の5日間で合計800時間の研究セッションを実行した結果、性能ギャップの回収率は0.97に達し、差をほぼ完全に埋めてみせました。投じたコストは約1万8000ドルで、研究員1時間あたりに換算するとわずか22ドル程度です。

運用の面でも興味深い知見が得られました。Claudeにそれぞれ少しずつ異なる曖昧な出発点を与えるとアイデアが多様化しましたが、指示を与えないと似たような発想に収束してしまいました。また、「構想、計画、実装」という厳格な手順を押し付けると成果が落ち、自由に任せたほうが、コストの低い予備実験を自前で組んで柔軟に試行錯誤することがわかりました。

本番モデルへの適用では効果が出ず

ただし、この自律研究員が万能のアライメント科学者になったわけではありません。未知のタスクに対する汎化性能を検証したところ、最も優秀だった手法は数学タスクで0.94の回収率を示したものの、コーディングでは0.47まで落ち込みました。2番目に良かった手法に至っては、コーディングで逆効果をもたらしています。

さらに手痛い現実が突きつけられました。Anthropicがこの最良の手法を自社の商用基盤に持ち込み、本番規模のClaude Sonnet 4で検証したところ、統計的に有意な改善は一切見られなかったのです。Claudeが見つけ出した手法は、与えられた小さなモデルやデータセット固有の癖を都合よくハックしたに過ぎなかった可能性があります。

なぜ重要か

私たちは、この研究が「研究のセンス」を計算資源の物量で代替できる可能性を示した点に大きな意味があると考えています。一流の研究者が経験や勘で絞り込むような仮説探索を、1時間22ドルという破格のコストでAIに総当たりさせられる時代が近づいています。

一方で、商用モデルであるClaude Sonnet 4での失敗は極めて教訓的です。明確な単一の評価スコアを与えると、AI研究員は本質的な解決ではなく、そのスコアを効率よく稼ぐ局所最適化に走ってしまいます。

現時点でアライメント研究をAIに丸投げするのは非現実的です。実験の実行自体が自動化されて加速するからこそ、AIに何を目的として競わせるか、どうやって数字のハッキングを見破るかという、人間の評価設計能力がこれまで以上に問われることになります。