スタンフォード大がTokasaurus公開：高スループット特化でvLLMを最大3倍凌駕
スタンフォード大学の研究チームが高スループット処理に特化した推論エンジン「Tokasaurus」をオープンソースで公開した。CPU負荷の削減や共有プレフィックスの動的活用、非NVLink環境での並列化最適化により、vLLMやSGLangと比べ最大3倍以上のスループットを達成している。
スタンフォード大学の研究チームが高スループット処理に特化した推論エンジン「Tokasaurus」をオープンソースで公開した。CPU負荷の削減や共有プレフィックスの動的活用、非NVLink環境での並列化最適化により、vLLMやSGLangと比べ最大3倍以上のスループットを達成している。