Sakana AIとNvidia、無駄な計算を省きLLM推論を30%高速化

人間の脳は思考に必要な最小限の神経細胞しか活性化させないため、極めて省電力に動きます。近年の大規模言語モデル（LLM）も本質的には同じで、フィードフォワード層にあるニューロンの95%以上は、特定の単語を処理している最中、実質的にゼロの値を出力して沈黙しています。

しかし、ディープラーニングの世界には昔から皮肉なジレンマがありました。無駄な計算を省こうとすると、かえってGPUの動作が遅くなるという問題です。

日本のAIスタートアップであるSakana AIとNvidiaは、このハードウェアの不一致を解消する共同研究を発表しました。モデルのパラメータを削るのではなく、専用のスパース形式「TwELL」とカスタムCUDAカーネルを用いることで、不要な計算を確実にスキップさせる技術です。

なぜ「計算量を減らすと遅くなる」のか

原因はGPUの構造そのものにあります。

現代のGPUは、規則正しく並んだ高密度の行列積をまとめて処理するのが大得意です。そこへ非構造化スパースと呼ばれる「所々がゼロで歯抜けになったデータ」を投げ込むと、メモリアクセスが不規則になり、並列処理の同期オーバーヘッドだけで性能が相殺されてしまいます。

Sakana AIとNvidiaは、GPU側に無理をさせるのをやめ、スパースデータの形状をGPUが好む形式へ再構築するアプローチをとりました。

TwELL（Tile-wise ELLPACK）と名付けられたこの新形式は、アクティベーションを扱いやすいタイル状にパックします。高度にスパースな99%のトークンは高速パスへ動的にルーティングして無駄な積和演算を回避し、例外的に情報が詰まったトークンだけを安全弁としての高密度行列に流す二層構造を採用しました。

H100で推論を30%以上高速化、メモリも削減

Nvidia H100 GPUを用いた検証結果は、明確な数字として表れています。

数十億パラメータ規模のモデルにおいて、推論速度は30%以上向上し、消費エネルギーも30%以上削減されました。

さらに学習時においても、処理速度が20%以上向上したほか、ピーク時のメモリ使用量を20%以上削減することに成功しています。これだけの効率化を果たしながら、モデルのダウンストリームタスクにおける精度はほぼ維持されました。研究成果はICML 2026に採択されており、関連コードとCUDAカーネルはすべてオープンソースとして公開されています。

なぜ重要か

今回の成果で私たちが最も評価すべきだと考えるのは、アルゴリズム側の理想論をハードウェアの現実にきれいに着地させた点です。

現在、LLMを運用する企業にとって最大の障壁は、高騰するGPUの確保コストとデータセンターの電力消費です。これまではコストを下げるために量子化で精度を妥協したり、モデル自体を蒸留して小さくしたりするのが一般的でした。TwELLはモデルサイズを犠牲にすることなく、既存のH100から3割の余剰性能を引き出せる可能性を示しています。

もちろん、実運用への導入には注意も必要です。今回は数十億パラメータ規模での実証ですが、超巨大モデルを複数ノードで並列実行する環境において、動的なスパース処理がノード間通信のボトルネックにならないかは今後の検証課題となります。

それでも、ハードウェアの絶対王者であるNvidiaがスパース処理専用のカーネル開発に深くコミットした意味は小さくありません。チップの世代交代を待つだけでなく、不要な計算をスマートに捨てるソフトウェア技術が、推論コスト削減の主戦場になりつつあります。