騰訊釋出混元 TurboS：混用 Mamba 架構，推理成本砍到七分之一

Transformer 跑長文本的成本一直是讓開發者頭疼的事。3 月 10 日，騰訊混元推出了 Hunyuan-TurboS，官方稱其為首個超大規模的 Hybrid-Transformer-Mamba MoE 混合架構模型。

它把 Mamba 在長序列處理上的高效率，和 Transformer 本身的上下文理解能力結合在了一起，專門對付純 Transformer 架構在長文本訓練和推理時 O(N²) 複雜度和 KV-Cache 暴漲的痛點。

用混合架構把推理成本砍到七分之一

根據混元官方在 X 上公佈的資料，TurboS 在數學、推理和對齊測試上超過了 GPT-4o-0806 和 DeepSeek-V3，在 MMLU-Pro 等知識基準上也保持了競爭力。

對實際落地來說更關鍵的是開銷，它的推理成本降到了混元上一代 Turbo 模型的七分之一。

在後訓練階段，團隊引入了慢思考機制來拉高數學、程式碼與推理能力，並針對英文訓練做了專門最佳化。其獎勵系統還加入了程式碼沙盒反饋、規則打分與生成式獎勵模型，用來提升 STEM 類任務準確率並抑制模型刷分作弊。

為什麼重要

我們認為，混元這次動作的價值不在於跑分又贏了誰，而在於它把混合架構真正做到了超大規模的實用階段。

目前絕大多數主流大模型依然在純 Transformer 架構裡硬扛長文本，但上下文拉長後的硬體開銷十分高昂。如果 Transformer 結合 Mamba 的混合 MoE 路線確實能在長序列任務裡把推理成本壓縮到七分之一，會逼著行業重新評估放棄純 Transformer 的價效比。

不過，目前公開的主要是官方基準測試，混合架構在複雜多變的長文本真實業務裡，其檢索召回率和推理穩定性如何，還需要外界實際接入測試後才能見分曉。