腾讯发布混元 TurboS：混用 Mamba 架构，推理成本砍到七分之一

Transformer 跑长文本的成本一直是让开发者头疼的事。3 月 10 日，腾讯混元推出了 Hunyuan-TurboS，官方称其为首个超大规模的 Hybrid-Transformer-Mamba MoE 混合架构模型。

它把 Mamba 在长序列处理上的高效率，和 Transformer 本身的上下文理解能力结合在了一起，专门对付纯 Transformer 架构在长文本训练和推理时 O(N²) 复杂度和 KV-Cache 暴涨的痛点。

用混合架构把推理成本砍到七分之一

根据混元官方在 X 上公布的数据，TurboS 在数学、推理和对齐测试上超过了 GPT-4o-0806 和 DeepSeek-V3，在 MMLU-Pro 等知识基准上也保持了竞争力。

对实际落地来说更关键的是开销，它的推理成本降到了混元上一代 Turbo 模型的七分之一。

在后训练阶段，团队引入了慢思考机制来拉高数学、代码与推理能力，并针对英文训练做了专门优化。其奖励系统还加入了代码沙盒反馈、规则打分与生成式奖励模型，用来提升 STEM 类任务准确率并抑制模型刷分作弊。

为什么重要

我们认为，混元这次动作的价值不在于跑分又赢了谁，而在于它把混合架构真正做到了超大规模的实用阶段。

目前绝大多数主流大模型依然在纯 Transformer 架构里硬扛长文本，但上下文拉长后的硬件开销十分高昂。如果 Transformer 结合 Mamba 的混合 MoE 路线确实能在长序列任务里把推理成本压缩到七分之一，会逼着行业重新评估放弃纯 Transformer 的性价比。

不过，目前公开的主要是官方基准测试，混合架构在复杂多变的长文本真实业务里，其检索召回率和推理稳定性如何，还需要外界实际接入测试后才能见分晓。