Mistral 在 X 上甩種子：開源 176B 大模型 Mixtral 8x22B

Mixtral 8x22B 是 Mistral AI 開源的大規模專家混合語言模型，專為需要前沿推理能力、又想擺脫閉源 API 限制的開發者設計。它允許完全本地部署，並且開放了完整的商用自由度。

規格與核心機制

Mixtral 8x22B 擁有高達 1760 億的總引數量，但採用了稀疏專家混合架構，實際執行開銷遠沒有表面上那麼嚇人。

在模型內部的每一層，路由網路會針對輸入的每個 token 精準挑選兩個專家網路來協同處理。這意味著每次前向推理只啟用約 440 億引數，在大幅壓低推理成本和延遲的同時，保留了大模型的容量和效能上限。

上下文處理能力上，該模型原生支援 65,000 token 視窗，處理超長技術文件或完整程式碼倉庫都不成問題。在此之前，Mistral 的 8x7B 模型已經在多項基準測試中展現出逼近甚至超越 GPT-3.5 和 Llama 2 的實力，社群普遍預期 8x22B 會在此基礎上大幅拉開差距。

硬體門檻與怎麼上手

Mistral 延續了其不搞噱頭的一貫作風，沒有釋出會，只是在 X 上輕描淡寫地甩出了一條種子連結。隨後，模型權重同步上線了 Hugging Face，Together AI 也迅速提供了線上推理與微調支援。

這個大傢伙對硬體的要求並不低。據早期上手測試的開發者透露，全精度執行 Mixtral 8x22B 需要大約 258 GB 的視訊記憶體。這意味著普通的消費級顯示卡無法直接在本地全量跑起來，企業級多卡叢集或高視訊記憶體工作站是必不可少的。

該模型採用極其寬鬆的 Apache 2.0 許可證開源。沒有使用場景限制，沒有商業門檻，開發者可以任意微調和整合。社群目前對它在複雜客服智慧體、程式碼生成、藥物研發以及氣候建模等領域的落地抱有極高期望。

為什麼重要

對於需要私有化部署和高度定製的團隊來說，Mixtral 8x22B 幾乎是目前最值得關注的開源基礎設施。我們認為，它用 440 億活躍引數的推理成本換取了 1760 億引數的知識容量，在計算效率和生成質量之間找到了極佳的平衡點。

它對閉源陣營構成了直接衝擊。在 Apache 2.0 的加持下，開發者不必再受制於廠商的呼叫限額與隱私條款。不過現實門檻依然明顯：258 GB 視訊記憶體讓個人開發者很難在本地直接把玩，在社群推出成熟的量化方案之前，通過 Together AI 等雲端平臺呼叫，或者等待量化版本，是更務實的嘗試路徑。