斯坦福开源 Tokasaurus：专注高吞吐推理，性能超 vLLM 达 3 倍
斯坦福团队开源大模型推理引擎 Tokasaurus，专为合成数据生成与批量任务等高吞吐场景设计。它通过极低 CPU 开销与动态前缀复用优化小模型，并针对无 NVLink 显卡优化流水线并行，吞吐量比 vLLM 和 SGLang 最高提升超 3 倍。
斯坦福团队开源大模型推理引擎 Tokasaurus，专为合成数据生成与批量任务等高吞吐场景设计。它通过极低 CPU 开销与动态前缀复用优化小模型，并针对无 NVLink 显卡优化流水线并行，吞吐量比 vLLM 和 SGLang 最高提升超 3 倍。