Sakana 聯手 Nvidia：跳過無效計算，大模型推理提速超 30%

人腦在思考時其實非常偷懶，想一個詞通常只調用極少量的神經元。現在的大語言模型也是這麼想的，在前饋網路層裡，超過 95% 的神經元其實都保持靜默，計算結果基本就是零。

照理說，既然大半工作都是無用功，那少算一點不就變快了嗎？但在現實裡，深度學習有個讓人哭笑不得的悖論：你讓模型少做點數學題，它在硬體上反而跑得更慢了。

日本 AI 實驗室 Sakana AI 和 Nvidia 聯合釋出了一項研究成果。他們沒有死板地去裁剪模型引數，而是用一種叫 TwELL 的新架構和定製 CUDA 核心，真正讓 GPU 吃下了這種「偷懶」的計算方式。

GPU 最煩「東一榔頭西一棒子」

問題出在 GPU 的脾氣上。

現代 GPU 是天生的算力怪獸，但它極度偏愛規整、連續的大規模矩陣乘法。如果你告訴它「這一行跳過、那幾個點不要算」，這種非結構化的稀疏計算會導致記憶體訪問亂成一團，排程開銷反而直接把 GPU 卡死。

Sakana AI 和 Nvidia 這次換了個思路。既然不能強迫 GPU 去適應散亂的稀疏結構，那就把稀疏的資料重新打包，揉成 GPU 喜歡的形狀。

他們提出的 TwELL 全稱是 Tile-wise ELLPACK。說白了，就是把模型內部的啟用資料切成規整的小磚塊，並給計算分了快慢車道。對於 99% 高度稀疏的詞元，直接送進專門最佳化的融合運算元走高速公路；如果碰上少數實在稀疏不了的詞元，就走密集矩陣的安全閥托底。

速度提三成，效能還不掉

從測試資料來看，這套軟硬結合的打法收益非常明顯。

在十億引數規模、運行於 Nvidia H100 GPU 上的測試中，大模型的推理速度提升超過了 30%，同時能耗降低超過 30%。

不光推理變快，訓練環節同樣吃到了紅利。新架構讓訓練速度提升了 20% 以上，視訊記憶體峰值佔用也壓下去了超過 20%。最難得的是，模型在下游基準測試裡的表現幾乎沒有受到任何影響。

目前，這項工作已經被 ICML 2026 接收，相關的技術論文、資料格式、程式碼以及全部定製的 CUDA 核心已經完全開源。

為什麼重要

我們認為，這項研究最聰明的地方，在於它沒有繼續陷在「模型設計者抱怨硬體死板，硬體廠商抱怨模型不規則」的互相推諉裡。

對於做模型服務和落地的工程團隊來說，視訊記憶體牆和電費賬單是懸在頭頂的真金白銀。以往大家最佳化效能，要麼咬牙做量化犧牲精度，要麼靠剪枝裁剪模型，往往得在智商和成本之間做妥協。TwELL 證明了只要底層核心搭得巧妙，稀疏計算完全可以在不降智的前提下，從現有硬體裡硬生生榨出三成以上的額外收益。

不過，目前這項成果主要是在十億引數級別的模型和單卡 H100 上跑通的驗證。到了千億引數的超大模型、或者多機多卡張量並行的複雜集群裡，稀疏帶來的動態負載均衡會不會引發新的通訊瓶頸，依然有待檢驗。

但無論如何，能讓 Nvidia 親自下場做專用核心來適配稀疏演算法，本身就指明瞭一條方向。未來的效率紅利，很大一部分要靠演算法向硬體架構的深層妥協與重構來換取。