Manifest AI 推出 Brumby-14B：徹底捨棄 Attention，4000 美元重訓 Qwen3

過去八年裡，幾乎所有大模型都在遵循 Google 那篇經典論文的旨意：Attention 是一切的基石。但隨著上下文越來越長，注意力機制那按二次方暴漲的視訊記憶體和算力開銷，把開發者逼得苦不堪言。

AI 初創團隊 Manifest AI 決定直接對這個核心「動刀」。11 月 4 日據報道，他們推出了新模型 Brumby-14B-Base。它基於開源大模型 Qwen3-14B-Base 改造而來，最激進的地方在於，它把網路裡的 Attention 層全部拔掉了。

取而代之的，是一種被他們稱為 Power Retention 的全新迴圈架構。

把全域性比對換成迴圈記憶

傳統的 Transformer 模型之所以算力消耗巨大，是因為每個 token 都要和前面所有 token 進行兩兩點積匹配。序列長度翻倍，計算量和視訊記憶體佔用就會翻近四倍。

Power Retention 保留了原有的 Q、K、V 輸入對映，但拋棄了全域性兩兩比對的操作。它在每個層級維護一個記憶矩陣，每輸入一個新 token，就結合門控訊號對記憶狀態做一次常數級別的迴圈更新。

這個過程更像經典的 RNN。不管模型處理的是 1000 個 token 還是 100 萬個 token，處理單個 token 的耗時與視訊記憶體開銷始終保持恆定。

為了避免 RNN 經常遺忘長文細節的問題，該機制在狀態更新中引入了輸入的張量冪計算。Manifest AI 表示，這讓它既有迴圈網路在硬體上的極致效率，又保留了注意力機制捕捉高階依賴的表達能力。

4000 美元的重訓奇蹟，與它的前提

更讓社群驚訝的是這次改造的賬單。團隊僅呼叫了 32 張輝達 H100 顯示卡，連續跑了 60 個小時，總花費大約只有 4000 美元。

訓練曲線顯示，Brumby 僅在 3000 個訓練步內就迅速收斂到了 Qwen3 基線的損失水平。在多項推理和理解基準測試中，它的表現已經打平了原版 Qwen3-14B 以及 GLM-4.5-Air 等主流模型。

不過，這並不意味著從零自研非 Transformer 模型的成本真的降到了幾千美元。

Manifest AI 創始人 Jacob Buckman 坦言，4000 美元的超低成本完全依賴於 Qwen3 現成的 Transformer 預訓練權重。如果脫離這些先驗權重從零起步，以這個預算根本不可能訓練出 Brumby。

但他同時強調，這一結果證明新架構可以站在上一代模型的肩膀上低成本演進，這本身就是推動新架構落地的重要催化劑。

為什麼重要

對開發者和需要處理海量上下文的團隊來說，Brumby-14B 提供了一種極為現實的可能性：在不犧牲 14B 級別模型智商的前提下，擺脫長文本推理時視訊記憶體爆炸的枷鎖。如果後續的部署生態跟上，長文本任務的吞吐量有望獲得質的提升。

在行業層面，這打破了非 Transformer 路線「必須耗資數千萬美元從頭冷啟動」的魔咒。過去大家不敢輕易換架構，是因為承受不起從零預訓練的風險和資金成本。Manifest AI 證明了架構轉換可以像下游微調一樣便宜，這會倒逼更多開源團隊嘗試在成熟模型上進行底層手術。

我們認為，這項實驗走得非常聰明，但也需要保持一份理性。它目前依然依附在 Transformer 的母體上，繼承了 Qwen3 的知識表徵，並沒有證明 Power Retention 具備完全自立門戶的大規模從零預訓練能力。它在真實複雜長文本場景中的抗遺忘水平究竟如何，還有待開源社群的進一步實測檢驗。