Sakana 聯手 Nvidia：跳過無效計算，大模型推理提速超 30%
Sakana AI 聯手 Nvidia 推出稀疏計算技術 TwELL，通過定製 CUDA 核心讓 GPU 專門跳過模型內部的無效計算。在 H100 上，大模型推理提速超 30%、能耗降低三成，訓練記憶體減少超 20%。也就是說，不用犧牲模型規模也能大幅省電省錢，程式碼與核心均已開源。
Sakana AI 聯手 Nvidia 推出稀疏計算技術 TwELL，通過定製 CUDA 核心讓 GPU 專門跳過模型內部的無效計算。在 H100 上，大模型推理提速超 30%、能耗降低三成，訓練記憶體減少超 20%。也就是說，不用犧牲模型規模也能大幅省電省錢，程式碼與核心均已開源。