Perplexity 开源 MoE 通信库：GPU 间传输提速 10 倍，大幅缩短推理延迟
Perplexity 开源了 MoE 模型通信库 pplx-kernels，通信速度比标准 All-to-All 提升最高达 10 倍。它通过 NVSHMEM 绕过 CPU 搞 GPU 直连传输，并让计算与通信重叠进行。最关键的是兼顾了跨网络环境的可移植性，帮大规模 MoE 模型推理显著省下延迟。
Perplexity 开源了 MoE 模型通信库 pplx-kernels，通信速度比标准 All-to-All 提升最高达 10 倍。它通过 NVSHMEM 绕过 CPU 搞 GPU 直连传输，并让计算与通信重叠进行。最关键的是兼顾了跨网络环境的可移植性，帮大规模 MoE 模型推理显著省下延迟。