斯坦福开源 Tokasaurus：专注高吞吐推理，性能超 vLLM 达 3 倍

Tokasaurus 是斯坦福大学团队开源的大模型推理引擎，专为合成数据生成、强化学习采样和大规模离线批处理这类高吞吐任务打造。

它能做什么

当你的需求不是实时对话，而是要批量扫描整个代码库、给一道题采样生成上千个解答时，单个请求的响应延迟就不那么重要了，单位时间内能跑完多少 token 才是关键。

Tokasaurus 就是奔着压榨吞吐量极限去的。在 ShareGPT 对话基准以及需要大量复用前缀的 Large Language Monkeys 数学推理测试中，它的吞吐表现全面超越了主流的 vLLM 和 SGLang，在多分支采样任务中速度甚至达到了同类引擎的 2 倍以上。

面对大模型的多卡部署，它在 8 张没有 NVLink 互联的 L40S 显卡上跑 Llama-3.1-70B 时，吞吐量比 vLLM 和 SGLang 的流水线并行实现高出 3 倍以上。

核心机制与上手规格

能跑出这个速度，主要靠三项针对性优化。

第一是榨干 CPU 潜力。传统引擎由 CPU 负责调度和输入处理，一旦 CPU 稍有卡顿，GPU 就会闲置。Tokasaurus 做了一个自适应管理器，发现输入队列快见底时，会主动跳过检测停止词等非必要环节，优先保证 GPU 永远有活干。

第二是动态复用共享前缀。针对多次采样同一提示词或分析同一篇长文档的场景，它在每次模型计算前通过贪心搜索找出最长公共前缀，配合 Hydragen 机制把注意力计算量降到最低。

第三是兼顾不同显卡配置。对没有 NVLink 的实惠型显卡，它重写了高效的流水线并行；对配备 NVLink 的高端显卡，它借助 PyTorch 的异步张量并行，并在批次超过 6000 token 时自动切换，把通信耗时藏进计算过程里。

目前 Tokasaurus 支持单节点内的 Llama-3 和 Qwen-2 系列模型，允许数据并行、张量并行与流水线并行任意组合。项目采用纯 Python 编写，底层调用 FlashInfer 算子，代码已在 GitHub 开源，也可以直接通过 pip install tokasaurus 安装。

为什么重要

如果你正在搭建强化学习训练管线，或者需要批量生成合成数据，Tokasaurus 值得立刻在测试集群里跑一跑。它不是用来替换低延迟对话服务的，但在需要拼命榨取单机吞吐的批处理场景中，它能直接帮你省下真金白银的算力账单。

我们认为它最亮眼的地方，是认真把没有高速互联的显卡当成一等公民来优化。很多团队手里没有成套的顶级算力，跑多卡大模型经常被通信瓶颈卡死，Tokasaurus 证明了只要流水线调度做得足够精细，平民卡照样能把吞吐量顶上去。不过它目前适配的模型种类还很少，生态丰富度无法和成熟的 vLLM 相比，更适合目标明确的专项任务。