Manifest AI 推出 Brumby-14B：徹底捨棄 Attention，4000 美元重訓 Qwen3
據報道 AI 初創公司 Manifest AI 推出新模型 Brumby-14B-Base，徹底捨棄了傳統 Transformer 的 Attention 機制。它改用名為 Power Retention 的迴圈架構，單 token 計算成本不再隨長度增長；團隊僅花 4000 美元基於 Qwen3 權重重訓即達到相近效能。不過該方法仍依賴現有模型，無法從零低成本訓練。
據報道 AI 初創公司 Manifest AI 推出新模型 Brumby-14B-Base，徹底捨棄了傳統 Transformer 的 Attention 機制。它改用名為 Power Retention 的迴圈架構，單 token 計算成本不再隨長度增長；團隊僅花 4000 美元基於 Qwen3 權重重訓即達到相近效能。不過該方法仍依賴現有模型，無法從零低成本訓練。