JetBrains 開源 Mellum2：12B 混合專家模型，推理速度快 2 倍

Mellum2 是 JetBrains 開源的 12B 引數混合專家（MoE）模型，專為文本和程式碼的低延遲推理打造。

它不是要跟超大模型拼全能，而是瞄準了現代 AI 架構裡最耗時、呼叫最頻繁的環節：提示詞路由、RAG 檢索上下文壓縮、子智慧體驗證以及高吞吐的程式碼補全。

為什麼能跑得快

Mellum2 的核心在於 MoE 稀疏啟用機制。雖然總引數量有 12B，但模型在處理每個 token 時僅啟用其中的 2.5B 引數。

這意味著它擁有 12B 模型的容量與表現，實際計算負載卻接近 2.5B 模型。JetBrains 公佈的資料顯示，相比同等體量的開源模型，Mellum2 的推理速度直接提升了 2 倍以上。

在設計上，它徹底放棄了多模態能力，從零開始完全在自然語言和程式碼上預訓練。沒有影像和音影片的包袱，讓模型結構更專注也更輕量，專門服務軟體工程任務。

在程式碼生成、邏輯推理、科學與數學等基準測試中，官方技術報告顯示其表現足以媲美類似體量的開源模型，同時保持了低延遲優勢。

它能做什麼

在實際架構中，Mellum2 主要充當多模型系統中的高效元件，有四個核心場景。

首先是路由與編排。在複雜的多模型協作系統裡，Mellum2 適合用來做提示詞分類、工具選擇和流程控制，避免為了決定呼叫哪個工具而浪費大模型的資源。

其次是 RAG 檢索管道。它可以在檢索階段快速壓縮上下文、生成摘要並完成檢索後處理，顯著縮短響應時間。

第三是子智慧體工作流。在需要多次迴圈的任務裡，Mellum2 可以獨立承擔步驟規劃、結果驗證和上下文轉換，不必步步請求大模型。

最後是私有化部署。由於採用寬鬆的 Apache 2.0 協議，團隊可以把它直接放進本地或私有伺服器，專門處理涉及專有程式碼和敏感資料的業務。

怎麼用上它

模型權重目前已經全部上傳至 Hugging Face 的 JetBrains 專區，任何人都可以自由下載。

如果你需要深入瞭解訓練細節、評估基準和技術架構，JetBrains 也同步公開了完整的技術報告（arXiv: 2605.31268）。

為什麼重要

我們認為 Mellum2 走了一條非常務實的路線。現在的軟體工程系統越來越依賴多個模型互相配合，全靠一個頂級模型不僅費用高昂，幾秒的延遲在 IDE 里根本沒法用。

對於正在搭建程式碼智慧體或 RAG 系統的團隊來說，Mellum2 幾乎是一個即插即用的加速器。它不打算取代你現有的主力大模型，但能把整個系統的延遲和賬單壓下來，非常值得現在就部署測試。