Perplexity, MoE 통신 라이브러리 오픈소스 공개: 최대 10배 속도 향상
Perplexity는 MoE 모델 분산 처리를 위한 통신 라이브러리 'pplx-kernels'를 오픈소스로 공개했습니다. 표준 All-to-All 통신 대비 최대 10배 빠른 속도를 기록했으며, CPU를 거치지 않는 GPU 직접 통신과 연산·통신 중첩 기법을 적용해 추론 지연 시간을 크게 줄였습니다.
Perplexity는 MoE 모델 분산 처리를 위한 통신 라이브러리 'pplx-kernels'를 오픈소스로 공개했습니다. 표준 All-to-All 통신 대비 최대 10배 빠른 속도를 기록했으며, CPU를 거치지 않는 GPU 직접 통신과 연산·통신 중첩 기법을 적용해 추론 지연 시간을 크게 줄였습니다.