Manifest AI 推出 Brumby-14B：彻底舍弃 Attention，4000 美元重训 Qwen3
据报道 AI 初创公司 Manifest AI 推出新模型 Brumby-14B-Base，彻底舍弃了传统 Transformer 的 Attention 机制。它改用名为 Power Retention 的循环架构，单 token 计算成本不再随长度增长；团队仅花 4000 美元基于 Qwen3 权重重训即达到相近性能。不过该方法仍依赖现有模型，无法从零低成本训练。
据报道 AI 初创公司 Manifest AI 推出新模型 Brumby-14B-Base，彻底舍弃了传统 Transformer 的 Attention 机制。它改用名为 Power Retention 的循环架构，单 token 计算成本不再随长度增长；团队仅花 4000 美元基于 Qwen3 权重重训即达到相近性能。不过该方法仍依赖现有模型，无法从零低成本训练。