斯坦福開源 Tokasaurus：專注高吞吐推理，效能超 vLLM 達 3 倍
斯坦福團隊開源大模型推理引擎 Tokasaurus，專為合成數據生成與批次任務等高吞吐場景設計。它通過極低 CPU 開銷與動態字首複用最佳化小模型，並針對無 NVLink 顯示卡最佳化流水線並行，吞吐量比 vLLM 和 SGLang 最高提升超 3 倍。
斯坦福團隊開源大模型推理引擎 Tokasaurus，專為合成數據生成與批次任務等高吞吐場景設計。它通過極低 CPU 開銷與動態字首複用最佳化小模型，並針對無 NVLink 顯示卡最佳化流水線並行，吞吐量比 vLLM 和 SGLang 最高提升超 3 倍。