腾讯发布混元 TurboS:混用 Mamba 架构,推理成本砍到七分之一
腾讯混元推出 Hunyuan-TurboS,这是首个超大 Transformer-Mamba 混合 MoE 模型。它用 Mamba 处理长文本、Transformer 负责上下文理解,官方称数学与推理超越 GPT-4o 与 DeepSeek-V3,推理成本仅为前代的七分之一。
腾讯混元推出 Hunyuan-TurboS,这是首个超大 Transformer-Mamba 混合 MoE 模型。它用 Mamba 处理长文本、Transformer 负责上下文理解,官方称数学与推理超越 GPT-4o 与 DeepSeek-V3,推理成本仅为前代的七分之一。