Open CoT Leaderboard 上線：專測思維鏈到底能幫大模型提多少分

現在各大模型榜單都在卷分數，動不動就跑出接近滿分的成績。但誰也說不清，模型究竟是真的變聰明了，還是偷偷背過了測試題。

Hugging Face 帶來了一個完全不同的評測思路，上線開源思維鏈榜單 Open CoT Leaderboard。它不測模型的絕對得分，而是專門算一道差值題：用加了思維鏈的準確率，減去不加思維鏈的準確率，算出模型靠「一步步思考」到底能多拿多少分。

不比最終得分，只比思考賺了多少

一般的基準測試直接看最終準確率，很容易被訓練資料汙染給忽悠過去。哪怕一個模型背下了答案，它也未必能一步一步把推導邏輯說清楚。

這個榜單選了 LogiQA 和 LSAT 司法考試這兩套邏輯推理題，全部來自 AGIEval 基準，以多選題形式呈現。這些題目只依賴常識，但極其考驗分析、邏輯推理和閱讀理解能力。

測試不加思維鏈時，團隊直接用對數似然度打分；測加入思維鏈時，則讓模型先生成一段推理過程，再根據自己的推理給出最終選項。

為了儘可能榨出模型的思考潛力，團隊設計了 Classic 和 Reflect 兩種提示詞策略。Classic 就是大家熟知的「讓我們一步步思考」，Reflect 則是讓模型在解題前先抽象反思一下問題型別。結合貪心搜尋、束搜尋和取樣三種解碼引數，每個模型都有 6 種生成組合，榜單最終記錄其中提升幅度最大的那個增量。

小模型逆襲，但思維鏈不是萬能藥

首批測試的 30 款模型帶來了一些很有意思的現象。

最顯眼的是小個子模型的表現。像 7B 級別的小模型不僅能跑出有效的推理鏈，有時靠思維鏈賺到的分數增幅甚至壓過了大模型。比如小巧的 Phi-2，在加上思維鏈後獲得的準確率提升，就比體量更大的 Mixtral 還要明顯。

此外，經過指令和對話微調的模型，表現明顯優於對應的基礎底模。微調不僅拉高了不加思維鏈時的底子，也放大了思維鏈帶來的增益。

但思維鏈並不總是正面buff。測試發現，沒有任何一種提示詞策略或解碼引數是通用的。對某個模型管用的配置，換到另一個模型或另一類題目上可能完全失靈，有時思維鏈甚至會導致準確率下滑。

為什麼重要

對於做大模型應用或智慧體開發的工程師來說，這個榜單非常實用。大家在寫提示詞時往往無腦加上「一步步思考」，但思維鏈是要消耗額外 token 和響應時間的。如果一個 7B 模型能靠合理的鏈條獲得巨大提升，而某些大模型提升寥寥無幾，開發者就能更精準地決定哪類任務該交由誰來做、這筆推理成本值不值得花。

從行業評測的角度來看，我們認為這種「算增量」的思路給對抗資料汙染提供了一個很聰明的解法。相比搭建成本極高的人類盲測競技場，直接用差值來剝離死記硬背的成分，價效比要高得多。

不過它的侷限性也很明確。榜單目前只覆蓋了選擇題和兩套法律邏輯題目，場景相對單一。而且模型在推理鏈裡哪怕胡說八道，只要最後蒙對了選項也能拿分。團隊也承認接下來需要深入分析生成的推理痕跡，確認模型到底是邏輯嚴密，還是純屬巧合撞對答案。