Terminator 砍掉大模型废话:检测答案即截断,推理时间减半
研究人员提出大模型早停组件 Terminator。它通过轻量探针预测最终答案生成的节点并直接截断输出,在 MATH-500 等测试中将推理长度缩短 14% 至 55%,生成时间减半且几乎不损耗性能。目前代码尚未正式开源。
研究人员提出大模型早停组件 Terminator。它通过轻量探针预测最终答案生成的节点并直接截断输出,在 MATH-500 等测试中将推理长度缩短 14% 至 55%,生成时间减半且几乎不损耗性能。目前代码尚未正式开源。