Sakana 联手 Nvidia：跳过无效计算，大模型推理提速超 30%
Sakana AI 联手 Nvidia 推出稀疏计算技术 TwELL，通过定制 CUDA 内核让 GPU 专门跳过模型内部的无效计算。在 H100 上，大模型推理提速超 30%、能耗降低三成，训练内存减少超 20%。也就是说，不用牺牲模型规模也能大幅省电省钱，代码与内核均已开源。
Sakana AI 联手 Nvidia 推出稀疏计算技术 TwELL，通过定制 CUDA 内核让 GPU 专门跳过模型内部的无效计算。在 H100 上，大模型推理提速超 30%、能耗降低三成，训练内存减少超 20%。也就是说，不用牺牲模型规模也能大幅省电省钱，代码与内核均已开源。