Manifest AIがBrumby-14Bを発表：Attention全廃、4000ドルでQwen3を再学習
報道によると、AIスタートアップのManifest AIがAttention機構を完全に排除した「Brumby-14B-Base」を発表しました。独自のPower Retention機構を採用し、文脈が長くなっても計算コストが一定に保たれます。わずか4000ドルでQwen3の重みを再学習して同等性能を実現しましたが、現状は既存モデルの重みに依存しています。
報道によると、AIスタートアップのManifest AIがAttention機構を完全に排除した「Brumby-14B-Base」を発表しました。独自のPower Retention機構を採用し、文脈が長くなっても計算コストが一定に保たれます。わずか4000ドルでQwen3の重みを再学習して同等性能を実現しましたが、現状は既存モデルの重みに依存しています。