アリババが「Qwen3-Next-80B-A3B」発表：80B規模で活性化は3Bのみ、推論速度10倍に

80Bの頭脳をわずか3Bの負荷で動かす

AlibabaのQwenチームは、計算効率を極限まで高めた新モデル「Qwen3-Next-80B-A3B」を公開した。

総パラメータ数は800億に達するものの、トークンごとに活性化されるのはわずか30億パラメータに抑えられている。公式発表によると、Qwen3-32Bと比較して学習コストは10分の1に削減され、推論速度は10倍に高速化された。特に32Kを超える長文脈で顕著な効果を発揮するという。

この高効率を支えるのが、Gated DeltaNetとGated Attentionを組み合わせたハイブリッド構造だ。512個のエキスパートから10個のルーティング先と1個の共有エキスパートのみを選ぶ超疎MoEを採用し、マルチトークン予測による投機的デコーディングも導入した。性能面では、Instruct版が235Bの旗艦モデルに迫り、Thinking版はGemini-2.5-Flash-Thinkingを上回るとしている。

なぜ重要か

80Bクラスの表現力をわずか3Bの実行負荷で扱える点は、実運用において極めて実用的だと考えられる。高価なクラスタを用意せずとも、高速かつ高精度な長文脈処理が手に入る可能性がある。

業界全体にとっても、線形アテンション系技術と極端な疎MoEの融合が実用レベルに達したことを示す好例といえる。

ただし、512個という膨大なエキスパートを効率よく配置・メモリ転送するのは容易ではない。自前のインフラで公式通りの10倍の恩恵を引き出せるかどうかは、ハードウェアの構成やサービング基盤の最適化に依存しそうだ。