Mistral 发布 Codestral Mamba：基于新架构，支持 256k 代码上下文

Codestral Mamba 是 Mistral 联合 Mamba 架构原作者 Albert Gu 与 Tri Dao 打造的开源代码模型。它拥有约 73 亿参数（精确数字是 7,285,403,648），专门用来解决开发者处理超长代码库时的响应迟钝和显存爆炸问题。

与几乎所有主流模型采用的 Transformer 架构不同，它基于全新的 Mamba 状态空间架构。这意味着它具备线性时间的推理特性，理论上可以处理无限长的输入序列，而且推理延迟不会随着上下文拉长而呈二次方飙升。

它能做什么

如果你经常需要把整个工程或大段日志喂给本地模型，Codestral Mamba 就是奔着这个场景来的。官方测试显示，它在长达 256k tokens 的上下文检索测试中表现稳健。

在传统 Transformer 模型里，256k 长度的提示词往往会让显存暴涨、生成速度慢如蜗牛。但在 Mamba 架构下，无论输入代码有多长，模型都能保持快速响应，不需要等待漫长的预填充时间。

在编程与推理能力上，Mistral 对它进行了专门训练。官方表示其实际表现足以媲美基于 Transformer 架构的同级别顶尖模型，目标就是成为开发者主力机上的本地代码助理。

怎么跑起来

目前 Codestral Mamba 已经完全开源，且采用宽松的 Apache 2.0 许可证。你可以免费使用、修改和分发，没有任何商业限制，这与 Mistral 此前发布的 Codestral 22B 所采用的受限商用许可证完全不同。

模型的原始权重可以直接在 Hugging Face 上下载，格式为指令微调版本。

在部署方面，你可以通过 mistral-inference SDK 直接运行，该工具依赖 Mamba 官方 GitHub 仓库的参考实现。此外，企业级部署也可以选用 NVIDIA 的 TensorRT-LLM。

对于喜欢轻量化本地运行的开发者，官方建议关注社区对 llama.cpp 的适配进展。如果你不想折腾本地环境，也可以在 Mistral 的云端平台 la Plateforme 上直接调用名为 codestral-mamba-2407 的测试端点。

为什么重要

对开发者来说，如果你苦于本地显卡带不动超长上下文的 Transformer 代码模型，或者受制于闭源 API 的隐私合规问题，Codestral Mamba 绝对值得第一时间塞进本地工作流试一试。它把 256k 上下文的代码理解拉到了消费级硬件能够承受的推理速度区间。

在整个开源生态里，这一步也很关键。过去 Mamba 架构大多停留在学术论文和小规模玩具模型阶段，很少有顶级实验室投入高规格资源去训练生产级的大尺寸代码模型。Mistral 这次联手架构原作者，不仅拿出真金白银训练了 7B 级别的实用模型，还彻底放开了 Apache 2.0 授权，很可能会推动更多工具链加速适配非 Transformer 架构。