JetBrains 开源 Mellum2：12B 混合专家模型，推理速度快 2 倍

Mellum2 是 JetBrains 开源的 12B 参数混合专家（MoE）模型，专为文本和代码的低延迟推理打造。

它不是要跟超大模型拼全能，而是瞄准了现代 AI 架构里最耗时、调用最频繁的环节：提示词路由、RAG 检索上下文压缩、子智能体验证以及高吞吐的代码补全。

为什么能跑得快

Mellum2 的核心在于 MoE 稀疏激活机制。虽然总参数量有 12B，但模型在处理每个 token 时仅激活其中的 2.5B 参数。

这意味着它拥有 12B 模型的容量与表现，实际计算负载却接近 2.5B 模型。JetBrains 公布的数据显示，相比同等体量的开源模型，Mellum2 的推理速度直接提升了 2 倍以上。

在设计上，它彻底放弃了多模态能力，从零开始完全在自然语言和代码上预训练。没有图像和音视频的包袱，让模型结构更专注也更轻量，专门服务软件工程任务。

在代码生成、逻辑推理、科学与数学等基准测试中，官方技术报告显示其表现足以媲美类似体量的开源模型，同时保持了低延迟优势。

它能做什么

在实际架构中，Mellum2 主要充当多模型系统中的高效组件，有四个核心场景。

首先是路由与编排。在复杂的多模型协作系统里，Mellum2 适合用来做提示词分类、工具选择和流程控制，避免为了决定调用哪个工具而浪费大模型的资源。

其次是 RAG 检索管道。它可以在检索阶段快速压缩上下文、生成摘要并完成检索后处理，显著缩短响应时间。

第三是子智能体工作流。在需要多次循环的任务里，Mellum2 可以独立承担步骤规划、结果验证和上下文转换，不必步步请求大模型。

最后是私有化部署。由于采用宽松的 Apache 2.0 协议，团队可以把它直接放进本地或私有服务器，专门处理涉及专有代码和敏感数据的业务。

怎么用上它

模型权重目前已经全部上传至 Hugging Face 的 JetBrains 专区，任何人都可以自由下载。

如果你需要深入了解训练细节、评估基准和技术架构，JetBrains 也同步公开了完整的技术报告（arXiv: 2605.31268）。

为什么重要

我们认为 Mellum2 走了一条非常务实的路线。现在的软件工程系统越来越依赖多个模型互相配合，全靠一个顶级模型不仅费用高昂，几秒的延迟在 IDE 里根本没法用。

对于正在搭建代码智能体或 RAG 系统的团队来说，Mellum2 几乎是一个即插即用的加速器。它不打算取代你现有的主力大模型，但能把整个系统的延迟和账单压下来，非常值得现在就部署测试。