#TwELL

15:00研究拡散指数 36

Sakana AIとNvidia、無駄な計算を省きLLM推論を30%高速化

Sakana AIとNvidiaはLLM向けスパース技術「TwELL」を発表した。専用のCUDAカーネルでGPUの不要な計算をスキップし、H100上で推論速度とエネルギー効率を30%以上向上、訓練メモリも20%削減する。モデルを小型化せずに運用コストを大幅に引き下げられる成果で、カーネル群はOSSとして公開される。