Perplexity 開源 MoE 通訊庫：GPU 間傳輸提速 10 倍，大幅縮短推理延遲
Perplexity 開源了 MoE 模型通訊庫 pplx-kernels，通訊速度比標準 All-to-All 提升最高達 10 倍。它通過 NVSHMEM 繞過 CPU 搞 GPU 直連傳輸，並讓計算與通訊重疊進行。最關鍵的是兼顧了跨網路環境的可移植性，幫大規模 MoE 模型推理顯著省下延遲。
Perplexity 開源了 MoE 模型通訊庫 pplx-kernels，通訊速度比標準 All-to-All 提升最高達 10 倍。它通過 NVSHMEM 繞過 CPU 搞 GPU 直連傳輸，並讓計算與通訊重疊進行。最關鍵的是兼顧了跨網路環境的可移植性，幫大規模 MoE 模型推理顯著省下延遲。