Manifest AI 推出 Brumby-14B：彻底舍弃 Attention，4000 美元重训 Qwen3

过去八年里，几乎所有大模型都在遵循 Google 那篇经典论文的旨意：Attention 是一切的基石。但随着上下文越来越长，注意力机制那按二次方暴涨的显存和算力开销，把开发者逼得苦不堪言。

AI 初创团队 Manifest AI 决定直接对这个核心「动刀」。11 月 4 日据报道，他们推出了新模型 Brumby-14B-Base。它基于开源大模型 Qwen3-14B-Base 改造而来，最激进的地方在于，它把网络里的 Attention 层全部拔掉了。

取而代之的，是一种被他们称为 Power Retention 的全新循环架构。

把全局比对换成循环记忆

传统的 Transformer 模型之所以算力消耗巨大，是因为每个 token 都要和前面所有 token 进行两两点积匹配。序列长度翻倍，计算量和显存占用就会翻近四倍。

Power Retention 保留了原有的 Q、K、V 输入映射，但抛弃了全局两两比对的操作。它在每个层级维护一个记忆矩阵，每输入一个新 token，就结合门控信号对记忆状态做一次常数级别的循环更新。

这个过程更像经典的 RNN。不管模型处理的是 1000 个 token 还是 100 万个 token，处理单个 token 的耗时与显存开销始终保持恒定。

为了避免 RNN 经常遗忘长文细节的问题，该机制在状态更新中引入了输入的张量幂计算。Manifest AI 表示，这让它既有循环网络在硬件上的极致效率，又保留了注意力机制捕捉高阶依赖的表达能力。

4000 美元的重训奇迹，与它的前提

更让社区惊讶的是这次改造的账单。团队仅调用了 32 张英伟达 H100 显卡，连续跑了 60 个小时，总花费大约只有 4000 美元。

训练曲线显示，Brumby 仅在 3000 个训练步内就迅速收敛到了 Qwen3 基线的损失水平。在多项推理和理解基准测试中，它的表现已经打平了原版 Qwen3-14B 以及 GLM-4.5-Air 等主流模型。

不过，这并不意味着从零自研非 Transformer 模型的成本真的降到了几千美元。

Manifest AI 创始人 Jacob Buckman 坦言，4000 美元的超低成本完全依赖于 Qwen3 现成的 Transformer 预训练权重。如果脱离这些先验权重从零起步，以这个预算根本不可能训练出 Brumby。

但他同时强调，这一结果证明新架构可以站在上一代模型的肩膀上低成本演进，这本身就是推动新架构落地的重要催化剂。

为什么重要

对开发者和需要处理海量上下文的团队来说，Brumby-14B 提供了一种极为现实的可能性：在不牺牲 14B 级别模型智商的前提下，摆脱长文本推理时显存爆炸的枷锁。如果后续的部署生态跟上，长文本任务的吞吐量有望获得质的提升。

在行业层面，这打破了非 Transformer 路线「必须耗资数千万美元从头冷启动」的魔咒。过去大家不敢轻易换架构，是因为承受不起从零预训练的风险和资金成本。Manifest AI 证明了架构转换可以像下游微调一样便宜，这会倒逼更多开源团队尝试在成熟模型上进行底层手术。

我们认为，这项实验走得非常聪明，但也需要保持一份理性。它目前依然依附在 Transformer 的母体上，继承了 Qwen3 的知识表征，并没有证明 Power Retention 具备完全自立门户的大规模从零预训练能力。它在真实复杂长文本场景中的抗遗忘水平究竟如何，还有待开源社区的进一步实测检验。