#pplx-kernels

オープンソース拡散指数 41

Perplexity、MoE通信ライブラリをオープンソース化：最大10倍の高速化を実現

PerplexityはMoEモデル向けの高速通信ライブラリ「pplx-kernels」をオープンソースで公開しました。標準的なAll-to-All通信と比べて最大10倍の転送速度を達成し、CPUを介さないGPU直接通信と計算・通信のオーバーラップを実現。移植性を保ちつつ分散推論のレイテンシを大幅に削減できます。