Mistral 釋出 Codestral Mamba：基於新架構，支援 256k 程式碼上下文

Codestral Mamba 是 Mistral 聯合 Mamba 架構原作者 Albert Gu 與 Tri Dao 打造的開原始碼模型。它擁有約 73 億引數（精確數字是 7,285,403,648），專門用來解決開發者處理超長程式碼庫時的響應遲鈍和視訊記憶體爆炸問題。

與幾乎所有主流模型採用的 Transformer 架構不同，它基於全新的 Mamba 狀態空間架構。這意味著它具備線性時間的推理特性，理論上可以處理無限長的輸入序列，而且推理延遲不會隨著上下文拉長而呈二次方飆升。

它能做什麼

如果你經常需要把整個工程或大段日誌餵給本地模型，Codestral Mamba 就是奔著這個場景來的。官方測試顯示，它在長達 256k tokens 的上下文檢索測試中表現穩健。

在傳統 Transformer 模型裡，256k 長度的提示詞往往會讓視訊記憶體暴漲、生成速度慢如蝸牛。但在 Mamba 架構下，無論輸入程式碼有多長，模型都能保持快速響應，不需要等待漫長的預填充時間。

在程式設計與推理能力上，Mistral 對它進行了專門訓練。官方表示其實際表現足以媲美基於 Transformer 架構的同級別頂尖模型，目標就是成為開發者主力機上的原生代碼助理。

怎麼跑起來

目前 Codestral Mamba 已經完全開源，且採用寬鬆的 Apache 2.0 許可證。你可以免費使用、修改和分發，沒有任何商業限制，這與 Mistral 此前釋出的 Codestral 22B 所採用的受限商用許可證完全不同。

模型的原始權重可以直接在 Hugging Face 上下載，格式為指令微調版本。

在部署方面，你可以通過 mistral-inference SDK 直接執行，該工具依賴 Mamba 官方 GitHub 倉庫的參考實現。此外，企業級部署也可以選用 NVIDIA 的 TensorRT-LLM。

對於喜歡輕量化本地執行的開發者，官方建議關注社群對 llama.cpp 的適配進展。如果你不想折騰本地環境，也可以在 Mistral 的雲端平臺 la Plateforme 上直接呼叫名為 codestral-mamba-2407 的測試端點。

為什麼重要

對開發者來說，如果你苦於本地顯示卡帶不動超長上下文的 Transformer 程式碼模型，或者受制於閉源 API 的隱私合規問題，Codestral Mamba 絕對值得第一時間塞進本地工作流試一試。它把 256k 上下文的程式碼理解拉到了消費級硬體能夠承受的推理速度區間。

在整個開源生態裡，這一步也很關鍵。過去 Mamba 架構大多停留在學術論文和小規模玩具模型階段，很少有頂級實驗室投入高規格資源去訓練生產級的大尺寸程式碼模型。Mistral 這次聯手架構原作者，不僅拿出真金白銀訓練了 7B 級別的實用模型，還徹底放開了 Apache 2.0 授權，很可能會推動更多工具鏈加速適配非 Transformer 架構。