Sakana 联手 Nvidia：跳过无效计算，大模型推理提速超 30%

人脑在思考时其实非常偷懒，想一个词通常只调用极少量的神经元。现在的大语言模型也是这么想的，在前馈网络层里，超过 95% 的神经元其实都保持静默，计算结果基本就是零。

照理说，既然大半工作都是无用功，那少算一点不就变快了吗？但在现实里，深度学习有个让人哭笑不得的悖论：你让模型少做点数学题，它在硬件上反而跑得更慢了。

日本 AI 实验室 Sakana AI 和 Nvidia 联合发布了一项研究成果。他们没有死板地去裁剪模型参数，而是用一种叫 TwELL 的新架构和定制 CUDA 内核，真正让 GPU 吃下了这种「偷懒」的计算方式。

GPU 最烦「东一榔头西一棒子」

问题出在 GPU 的脾气上。

现代 GPU 是天生的算力怪兽，但它极度偏爱规整、连续的大规模矩阵乘法。如果你告诉它「这一行跳过、那几个点不要算」，这种非结构化的稀疏计算会导致内存访问乱成一团，调度开销反而直接把 GPU 卡死。

Sakana AI 和 Nvidia 这次换了个思路。既然不能强迫 GPU 去适应散乱的稀疏结构，那就把稀疏的数据重新打包，揉成 GPU 喜欢的形状。

他们提出的 TwELL 全称是 Tile-wise ELLPACK。说白了，就是把模型内部的激活数据切成规整的小砖块，并给计算分了快慢车道。对于 99% 高度稀疏的词元，直接送进专门优化的融合算子走高速公路；如果碰上少数实在稀疏不了的词元，就走密集矩阵的安全阀托底。

速度提三成，性能还不掉

从测试数据来看，这套软硬结合的打法收益非常明显。

在十亿参数规模、运行于 Nvidia H100 GPU 上的测试中，大模型的推理速度提升超过了 30%，同时能耗降低超过 30%。

不光推理变快，训练环节同样吃到了红利。新架构让训练速度提升了 20% 以上，显存峰值占用也压下去了超过 20%。最难得的是，模型在下游基准测试里的表现几乎没有受到任何影响。

目前，这项工作已经被 ICML 2026 接收，相关的技术论文、数据格式、代码以及全部定制的 CUDA 内核已经完全开源。

为什么重要

我们认为，这项研究最聪明的地方，在于它没有继续陷在「模型设计者抱怨硬件死板，硬件厂商抱怨模型不规则」的互相推诿里。

对于做模型服务和落地的工程团队来说，显存墙和电费账单是悬在头顶的真金白银。以往大家优化性能，要么咬牙做量化牺牲精度，要么靠剪枝裁剪模型，往往得在智商和成本之间做妥协。TwELL 证明了只要底层内核搭得巧妙，稀疏计算完全可以在不降智的前提下，从现有硬件里硬生生榨出三成以上的额外收益。

不过，目前这项成果主要是在十亿参数级别的模型和单卡 H100 上跑通的验证。到了千亿参数的超大模型、或者多机多卡张量并行的复杂集群里，稀疏带来的动态负载均衡会不会引发新的通信瓶颈，依然有待检验。

但无论如何，能让 Nvidia 亲自下场做专用内核来适配稀疏算法，本身就指明了一条方向。未来的效率红利，很大一部分要靠算法向硬件架构的深层妥协与重构来换取。