Tencentが混元TurboSを発表：Mambaハイブリッドで推論コストを7分の1に

純粋なTransformerモデルにとって、長文処理における計算量とKVキャッシュの肥大化は常に重い課題でした。テンセント（Tencent Hunyuan）は3月10日、超大規模なハイブリッド構成を採用した新モデル「Hunyuan-TurboS」を発表しました。

このモデルは、長文の高速処理に強みを持つMambaと、文脈理解力に長けたTransformerを組み合わせたMixture of Experts（MoE）設計を採用しています。これにより、従来のTransformerが抱えていたO(N²)の計算複雑性を抑え、長文の学習と推論を効率化しました。

MambaとMoEの融合で推論コストを7分の1に

公式発表のデータによると、Hunyuan-TurboSは数学、推論、アライメントの各指標でGPT-4o（0806）やDeepSeek-V3を上回り、MMLU-Proなどの知識テストでも高い競争力を維持しています。

実用面で最もインパクトがあるのはコストです。前世代のTurboモデルと比較して、推論コストが7分の1にまで削減されました。

事後学習には思考時間を深めるスローシンキングやコードサンドボックス検証、生成型リワードモデルが導入され、STEM分野の精度向上と報酬ハッキングの抑制が図られています。

なぜ重要か

私たちが注目すべきなのは、ベンチマークの順位争い以上に、実用モデルのアーキテクチャ刷新に踏み切った点です。

長文対応を進める多くのフロンティアモデルが純粋なTransformerに留まる中、MambaとMoEを大規模に組み合わせる道を選びました。長文タスクの推論コストを実際に大幅削減できるなら、エージェントや大量文書を扱う開発者にとって大きな恩恵となります。

ただし、公式ベンチマークの数値と本番環境での安定性は別問題です。ハイブリッド構成が実世界の複雑な検索や文脈追跡でどこまで破綻せずに機能するかは、外部の開発者による検証を待つ必要があります。