Open CoT Leaderboard 上线：专测思维链到底能帮大模型提多少分

现在各大模型榜单都在卷分数，动不动就跑出接近满分的成绩。但谁也说不清，模型究竟是真的变聪明了，还是偷偷背过了测试题。

Hugging Face 带来了一个完全不同的评测思路，上线开源思维链榜单 Open CoT Leaderboard。它不测模型的绝对得分，而是专门算一道差值题：用加了思维链的准确率，减去不加思维链的准确率，算出模型靠「一步步思考」到底能多拿多少分。

不比最终得分，只比思考赚了多少

一般的基准测试直接看最终准确率，很容易被训练数据污染给忽悠过去。哪怕一个模型背下了答案，它也未必能一步一步把推导逻辑说清楚。

这个榜单选了 LogiQA 和 LSAT 司法考试这两套逻辑推理题，全部来自 AGIEval 基准，以多选题形式呈现。这些题目只依赖常识，但极其考验分析、逻辑推理和阅读理解能力。

测试不加思维链时，团队直接用对数似然度打分；测加入思维链时，则让模型先生成一段推理过程，再根据自己的推理给出最终选项。

为了尽可能榨出模型的思考潜力，团队设计了 Classic 和 Reflect 两种提示词策略。Classic 就是大家熟知的「让我们一步步思考」，Reflect 则是让模型在解题前先抽象反思一下问题类型。结合贪心搜索、束搜索和采样三种解码参数，每个模型都有 6 种生成组合，榜单最终记录其中提升幅度最大的那个增量。

小模型逆袭，但思维链不是万能药

首批测试的 30 款模型带来了一些很有意思的现象。

最显眼的是小个子模型的表现。像 7B 级别的小模型不仅能跑出有效的推理链，有时靠思维链赚到的分数增幅甚至压过了大模型。比如小巧的 Phi-2，在加上思维链后获得的准确率提升，就比体量更大的 Mixtral 还要明显。

此外，经过指令和对话微调的模型，表现明显优于对应的基础底模。微调不仅拉高了不加思维链时的底子，也放大了思维链带来的增益。

但思维链并不总是正面buff。测试发现，没有任何一种提示词策略或解码参数是通用的。对某个模型管用的配置，换到另一个模型或另一类题目上可能完全失灵，有时思维链甚至会导致准确率下滑。

为什么重要

对于做大模型应用或智能体开发的工程师来说，这个榜单非常实用。大家在写提示词时往往无脑加上「一步步思考」，但思维链是要消耗额外 token 和响应时间的。如果一个 7B 模型能靠合理的链条获得巨大提升，而某些大模型提升寥寥无几，开发者就能更精准地决定哪类任务该交由谁来做、这笔推理成本值不值得花。

从行业评测的角度来看，我们认为这种「算增量」的思路给对抗数据污染提供了一个很聪明的解法。相比搭建成本极高的人类盲测竞技场，直接用差值来剥离死记硬背的成分，性价比要高得多。

不过它的局限性也很明确。榜单目前只覆盖了选择题和两套法律逻辑题目，场景相对单一。而且模型在推理链里哪怕胡说八道，只要最后蒙对了选项也能拿分。团队也承认接下来需要深入分析生成的推理痕迹，确认模型到底是逻辑严密，还是纯属巧合撞对答案。