Manifest AIがBrumby-14Bを発表：Attention全廃、4000ドルでQwen3を再学習

2017年の登場以来、あらゆる主要AIモデルを支えてきたTransformerとAttention機構ですが、文脈が長くなるにつれて計算コストが2乗で増大する弱点は、今や業界全体の頭痛の種となっています。

AIスタートアップのManifest AIはこの課題に対し、極めて大胆なアプローチを取りました。11月4日の報道によると、同社はオープンモデルQwen3-14B-BaseからAttention機構を完全に排除した新モデル「Brumby-14B-Base」を発表しました。

Attentionの代わりに導入されたのが、「Power Retention」と呼ばれる独自の再帰型アーキテクチャです。

トークン間の総当たりをやめ、固定メモリを更新する

従来のTransformerは、すべてのトークン同士を比較するため、文脈が2倍になると計算量とメモリ消費量は約4倍に跳ね上がります。

これに対しPower Retentionは、従来のQ、K、Vの入力を維持しつつ、大域的な総当たり計算を状態更新処理へと置き換えています。

各層が保持する固定サイズのメモリ行列を、入力されたキーや値、学習済みのゲート信号に従って逐次更新していく仕組みです。これは従来のRNNに近い挙動であり、文脈が1000トークンであっても100万トークンであっても、1トークンあたりの計算コストは一定に保たれます。

さらに、入力のテンソル累乗を活用することで、Attentionが持っていた高次の文脈把握能力を損なわずに維持できるとしています。

4000ドルで達成した再学習と、その裏にある前提

もう一つの大きな話題は、その驚異的な開発コストです。Manifest AIは32基のNvidia H100を使用し、わずか60時間、費用にして約4000ドルで再学習を完了させました。

学習曲線では開始から3000ステップ以内にベースラインの損失に収束し、推論や読解ベンチマークにおいてQwen3-14BやGLM-4.5-Airと同等水準の性能を達成しています。

ただし、これをもってTransformerの時代が即座に終わるわけではありません。

Manifest AI創業者のJacob Buckman氏は、4000ドルという低コストは既存のTransformerモデルの重みを引き継いだからこそ可能だったと説明しています。ゼロからこの予算で学習することは不可能です。

それでも同氏は、前世代のモデルの重みを活用して新アーキテクチャへ移行できる実証自体が、世代交代を加速させる決定打になると強調しています。

なぜ重要か

長大なコンテキストを扱う開発者にとって、トークンあたりの処理コストが一定になるアーキテクチャは運用コストを劇的に下げる可能性を秘めています。14B規模の知能を維持したままメモリ肥大化を回避できる点は実用的です。

業界全体にとっても、新しいアーキテクチャへの移行に数百万ドルの初期学習費用が必ずしも必須ではないことを示した意義は大きいです。既存のオープンモデルを手術するように改造する手法は、今後のアーキテクチャ競争の敷居を大きく下げるはずです。

私たちはこの試みを非常にスマートだと評価する一方で、慎重な見方も必要だと考えます。Brumbyは既存のQwen3が獲得した表現力に依存しており、完全に独立したアーキテクチャとしてゼロから成立するかは未検証です。複雑な現実タスクにおいてAttentionと完全に肩を並べられるかは、今後の検証が待たれます。