스탠퍼드, 고처리량 추론 엔진 Tokasaurus 공개…vLLM 대비 최대 3배 빨라
스탠퍼드 연구진이 대규모 배치와 합성 데이터 생성 등 고처리량 작업에 특화된 오픈소스 추론 엔진 Tokasaurus를 공개했다. CPU 오버헤드 최소화와 공유 프리픽스 동적 탐색, 비 NVLink 환경 파이프라인 병렬 최적화를 통해 vLLM 및 SGLang 대비 최대 3배 이상 높은 처리량을 제공한다.
스탠퍼드 연구진이 대규모 배치와 합성 데이터 생성 등 고처리량 작업에 특화된 오픈소스 추론 엔진 Tokasaurus를 공개했다. CPU 오버헤드 최소화와 공유 프리픽스 동적 탐색, 비 NVLink 환경 파이프라인 병렬 최적화를 통해 vLLM 및 SGLang 대비 최대 3배 이상 높은 처리량을 제공한다.