스탠퍼드, 고처리량 추론 엔진 Tokasaurus 공개…vLLM 대비 최대 3배 빨라

Tokasaurus는 스탠퍼드 대학교 연구진이 대규모 배치 작업과 고처리량 추론에 특화해 개발한 오픈소스 LLM 추론 엔진이다.

무엇을 할 수 있는가

합성 데이터 생성, 대규모 코드 분석, 강화학습 롤아웃과 같은 작업에서는 챗봇처럼 개별 응답의 지연 시간보다 단위 시간당 생성할 수 있는 총 토큰 수가 훨씬 중요하다.

Tokasaurus는 철저히 처리량 극대화에 초점을 맞췄다. ShareGPT 및 공통 프롬프트를 대량으로 재사용하는 Large Language Monkeys 벤치마크에서 기존 대표 엔진인 vLLM과 SGLang을 앞질렀으며, 다중 샘플링 환경에서는 2배 이상의 처리량을 기록했다.

특히 NVLink가 없는 L40S GPU 8장 환경에서 Llama-3.1-70B를 실행했을 때, Tokasaurus의 파이프라인 병렬 처리량은 vLLM 및 SGLang 대비 3배 이상 높았다.

핵심 메커니즘과 사양

Tokasaurus의 성능은 세 가지 핵심 최적화에서 나온다.

첫째는 CPU 오버헤드 최소화다. 모델 입력 큐가 비어 GPU가 유휴 상태에 빠지지 않도록 어댑티브 매니저가 큐 상태를 감시하며, 필요할 경우 정지 문자열 확인 같은 비필수 작업을 일시적으로 건너뛰어 GPU에 지속적으로 작업을 공급한다.

둘째는 동적 프리픽스 탐색이다. 동일한 시스템 프롬프트나 문서를 공유하는 요청을 모델 실행 직전 탐욕적 DFS 알고리즘으로 묶어내 중복 어텐션 연산을 대폭 줄인다.

셋째는 하드웨어 환경에 맞춘 병렬화다. NVLink가 없는 환경을 위해 고효율 파이프라인 병렬화를 지원하며, H100이나 B200처럼 NVLink가 갖춰진 환경에서는 배치 크기가 6000토큰을 넘길 때 비동기 텐서 병렬화로 전환해 통신 지연을 계산 뒤로 숨긴다.

현재 단일 노드 내에서 Llama-3 및 Qwen-2 계열 모델을 지원하며, FlashInfer 연산자를 활용한 순수 파이썬으로 작성되었다. 코드는 GitHub에 공개되어 있으며 pip install tokasaurus 명령어로 설치할 수 있다.

왜 중요한가

합성 데이터 파이프라인을 운영하거나 강화학습 훈련 데이터를 대량으로 뽑아내야 하는 팀이라면 Tokasaurus를 바로 테스트해 볼 만하다. 사용자 응대용 챗봇을 대체하려는 목적은 아니지만, 대규모 배치 작업에서 컴퓨팅 비용을 획기적으로 낮출 수 있다.

특히 고가의 NVLink가 없는 보급형 다중 GPU 구성을 일급 시민으로 취급해 최적화했다는 점이 인상적이다. 파이프라인 스케줄링을 정교하게 다듬어 저렴한 인프라에서도 최고 수준의 처리량을 끌어낼 수 있음을 입증했다. 지원 모델 생태계는 아직 vLLM에 미치지 못하지만, 고처리량이 절실한 특정 워크로드에는 매력적인 대안이다.