開源架構 Mamba-3 亮相：推理延遲更低，效能比 Transformer 高 4%

Mamba-3 是一套主打高吞吐、低延遲的開源狀態空間模型架構，由卡耐基梅隆大學的 Albert Gu 和普林斯頓大學的 Tri Dao 聯合釋出。它採用寬鬆的 Apache 2.0 許可證開源，不僅允許商用，還在 arXiv 上同步放出了技術論文。

簡單來說，它是為了替代計算資源消耗巨大的 Transformer 而來的。它能讓你在部署大語言模型做推理服務時，顯著降低視訊記憶體佔用並減少顯示卡等待時間，特別適合處理超長上下文或對延遲要求極高的場景。

它是怎麼跑得更快的

傳統的 Transformer 模型在生成文本時，每寫一個詞都要把之前所有的詞重新看一遍，對話越長，計算和視訊記憶體開銷就越大。Mamba-3 作為狀態空間模型，機制完全不同：它在內部維護一個緊湊且不斷更新的數字快照，新詞進來時直接更新快照，不再回頭重讀全文。

上一代 Mamba-2 主要解決預訓練吞吐問題，而 Mamba-3 徹底轉向了「推理優先」設計。它重點解決的是硬體解碼時的「冷 GPU」現象，也就是顯示卡算力閒置、一直乾等記憶體搬運資料的問題。

更聰明的地方在於壓縮狀態。Mamba-3 僅用前代 Mamba-2 一半的狀態大小，就跑出了相當的模型困惑度，相當於用更少的內容把語言規律記得一樣牢。

針對以往狀態空間模型在數理運算、模式追蹤等簡單推理任務上的「邏輯短板」，Mamba-3 引入了複數值狀態，補齊了這一架構以往不擅長邏輯推理的缺陷。

15 億引數下的測試表現

在 1.5B（15 億引數）規模下，研究團隊測試了 Mamba-3 的先進變體 MIMO。結果顯示，它在多個基準測試中的平均準確率達到了 57.6%。

這個成績比同等規模的行業標準 Transformer 高出了 2.2 個百分點，折算下來相對效能提升了近 4%。對於小引數量模型而言，每一分準確率的提升都非常難得。

在保持更高精度的同時，它砍半的狀態尺寸直接降低了記憶體往返開銷，讓顯示卡在生成每個 token 時都能處於滿負荷計算狀態，大幅縮減了使用者的等待時間。

目前研究團隊已經在 GitHub 上放出了基於 Apache 2.0 許可證的程式碼與模型權重，論文也在 arXiv 上公開。開發者和企業技術團隊現在就可以直接拉取程式碼，評估將其整合到自研推理引擎中的可行性。

為什麼重要

我們認為 Mamba-3 走得最務實的一步，是把重點從「刷訓練速度」轉到了「最佳化推理成本」。大模型落地到現在，訓練往往是一次性的，線上推理才是每天燒錢的無底洞；讓顯示卡少空轉、少搬視訊記憶體，就是最直接的降本手段。

如果你正在搭建對延遲敏感的 API 服務、或者嘗試把 1B 左右的模型塞進邊緣裝置與本地終端，Mamba-3 值得現在就去跑跑測試。它證明了非 Transformer 架構不僅能補上推理能力的短板，還能在小尺寸上正面擊敗老牌架構，未來與 Transformer 混合架構的落地演進也將更有看頭。