Hugging Faceが「Open CoT」順位表を公開：思考の連鎖による精度向上幅を可視化

モデルがベンチマークで高得点を出しても、本当に推論しているのか、単に答えを丸暗記したのかを見極めるのは困難です。

Hugging Face は 4 月 23 日、思考プロセスそのものの有効性を可視化する「Open Chain of Thought Leaderboard」を公開しました。このベンチマークはモデルの絶対的な正解率ではなく、思考連鎖プロンプトを用いた場合と用いなかった場合の正解率の差分、つまり思考によってどれだけ精度が伸びたかを評価します。

スコアではなく「伸びしろ」を測る

正解を知っていることと、筋道を立てて考えられることは別物です。今回のリーダーボードでは、訓練データの汚染による影響を抑えるため、思考プロセスの差分に着目しました。

テストには AGIEval に含まれる LogiQA や米国ロースクール適性試験の LSAT といった論理的推論タスクを使用します。これらは常識的な知識だけで解けるものの、強力な LLM にとっても難易度が高い多肢選択問題です。

思考連鎖なしの基準値には対数尤度による精度を用います。思考連鎖ありの場合は、モデルにまず思考の軌跡を生成させ、その推論をプロンプトに組み込んだ上で解答を選択させます。

推論の生成には、定番の「ステップバイステップで考えよう」と促す Classic と、問題を解く前に全体像を振り返らせる Reflect の 2 つの手法を採用しました。これに 3 種類のデコード設定を掛け合わせ、計 6 パターンの中から最も高かった精度の伸びを記録します。

小型モデルの躍進と、思考連鎖の思わぬ落とし穴

最初の 30 モデルを評価した段階で、いくつかの明確な傾向が見えてきました。

特に目を引いたのは小型モデルの健闘です。7B 前後の比較的小さなオープンモデルでも思考連鎖がしっかりと機能し、場合によっては大型モデル以上の伸び幅を記録しました。例えば Phi-2 は、より規模の大きい Mixtral よりも思考連鎖による精度の向上幅が大きいという結果が出ています。

また、指示チューニングやチャットチューニングを施されたモデルは、ベースモデルに比べてベースの精度も思考連鎖による伸び代も大幅に改善しました。

一方で、思考連鎖は万能ではありません。あらゆるモデルやタスクに共通して有効な生成パターンは存在せず、ある設定では思考ステップを挟んだことでかえって正解率が下がるケースも確認されました。

なぜ重要か

エージェントや推論アプリを構築する開発者にとって、この差分データは実用的な指針になります。推論ステップの生成にはトークン消費とレイテンシの増加が伴うため、ステップを踏ませて本当に賢くなるモデルなのか、余計なコストに見合う効果があるのかを事前に見極められるからです。

業界の視点で見ても、正解率そのものではなく「思考による上乗せ分」を測るアプローチは、テスト問題の丸暗記に対抗する賢い仕組みだと評価できます。人手をかけた対戦形式の評価に比べ、低コストで推論能力の底力を浮き彫りにできます。

ただし、課題もあります。現状は選択式の論理問題に限定されている上、思考の過程が無茶苦茶でも偶然正しい選択肢を選んでしまえばスコアが上がってしまいます。推論の中身が本当に論理的だったのかという定性的な検証は、今後のアップデートを待つ必要があります。