Mistral AI 釋出 Mistral Large 2：123B 引數單節點可跑，程式設計推理叫板頂流

各大模型廠商還在瘋狂堆引數拼算力的時候，來自法國的 Mistral AI 卻打出了另一張牌。

Mistral AI 正式推出新一代旗艦模型 Mistral Large 2。它的引數量被死死卡在 1230 億，目標非常明確，就是為了能讓企業用單臺伺服器節點直接跑起來。

別看體量比動輒幾千億甚至萬億引數的怪獸小了一大截，在基準測試裡，它的 MMLU 得分達到了 84.0%。官方稱其在程式碼和推理表現上，已經可以和 GPT-4o、Claude 3 Opus 以及 Meta 剛剛放出的 Llama 3 405B 正面抗衡。

專為單節點打造的 123B 效能怪獸

Mistral Large 2 最討巧的地方，在於它精準踩中了企業部署的痛點。

在很多大模型需要跨多臺機器拆分權重、帶來巨大的通訊開銷時，Mistral 把引數量定在 123B。這樣一來，開發者在單個節點上就能以高吞吐量進行長文本推理。

上下文視窗也從上一代的 32k 猛增到 128k。不管是扔進一整份技術文件，還是讓它分析龐大的程式碼倉庫，都能從容應對。

語言支援方面，它覆蓋了法語、德語、中文、日文、韓文等數十種語言，以及包括 Python、Java、C++、Bash、Swift 和 Fortran 在內的 80 多種程式語言。

它還支援原生 JSON 輸出模式，具備並行和序列工具呼叫能力，方便企業直接把它塞進自動化工作流和 Agent 體系裡。

為了抑制 AI 常見的「胡說八道」，團隊在訓練中刻意強化了辨別能力。一旦遇到算不出來或者缺乏依據的場景，模型會直接坦白「我不知道」，而不是強行編造一個看起來合理的錯誤答案。

話變少了，但落地更接地氣

另一個很有意思的細節是生成長度。

很多模型為了在評測榜單上刷高分，往往會故意把回答寫得又臭又長。但在真實業務裡，廢話多不僅浪費時間，還會直接拉高 API 呼叫的 Token 成本。

Mistral 這次專門做了對齊最佳化，要求模型用盡量簡短、切中要害的語言來回答。按官方的說法，精簡回覆能帶來更快的互動響應，也能幫企業省下真金白銀的推理費用。

在部署渠道上，官方平臺 la Plateforme 已經上線了代號為 mistral-large-2407 的版本，並同步開啟了微調支援。

同時，它不僅開放了 HuggingFace 上的 Instruct 權重，還迅速進駐了各大雲服務商。除了原有的 Azure AI Studio、Amazon Bedrock 和 IBM watsonx.ai，這次還擴大了與 Google Cloud 的合作，正式通過託管 API 接入 Vertex AI。

不過在開源協議上，Mistral 保持了審慎態度。這次採用的是 Mistral 研究許可證，學術研究和非商業使用完全免費，但企業如果想私有化部署用於商業變現，必須聯絡官方購買商業授權。

為什麼重要

我們認為，Mistral Large 2 是近期最清醒也最務實的一次模型釋出。

當業界被 Llama 3 405B 的龐大規模震撼時，大家很快就會面對現實問題：有幾家公司真正養得起、跑得動 405B 的龐然大物？對於絕大多數團隊來說，單機單卡叢集才是常態。123B 的尺寸配合單節點高吞吐設計，看起來正是瞄準了那些既想要頂級旗艦效能、又不想承擔誇張基建成本的務實派開發者。

它對行業的影響也很直接：模型競爭正在從純粹的「引數軍備競賽」轉向「推理效費比之爭」。Mistral 證明了靠更高的程式碼訓練佔比、剋制的回覆長度以及專門的單機尺寸最佳化，小得多的模型也能在程式設計和數學基準上咬住巨無霸們。

不過它的隱患依然在於商業許可。對於執著於完全自由商用的人來說，它不再是以前那種無拘無束的 Apache 2.0 協議，企業自建必須掏錢買商業授權。值不值得現在接入，就看你的系統到底有多看重單節點的部署成本了。