大模型温度为 0 仍会变？Thinking Machines 称真凶在动态批次
Thinking Machines AI 发文剖析大模型推理不可复现的根源。业内常将「温度为 0 仍给不同结果」归咎于 GPU 浮点计算并发冲突，但团队发现前向传播本身并无原子累加，真正的罪魁祸首是推理服务因动态批处理缺乏「批次不变性」，输出会因与其他并发请求凑批而改变。
vLLM
斯坦福开源 Tokasaurus：专注高吞吐推理，性能超 vLLM 达 3 倍
斯坦福团队开源大模型推理引擎 Tokasaurus，专为合成数据生成与批量任务等高吞吐场景设计。它通过极低 CPU 开销与动态前缀复用优化小模型，并针对无 NVLink 显卡优化流水线并行，吞吐量比 vLLM 和 SGLang 最高提升超 3 倍。
Gemma 推理新方案：Dataflow 结合 vLLM 提速超 23 倍
Google 介绍了将 vLLM 接入 Dataflow 流式管线运行 Gemma 2B 模型的方法。借助 vLLM 的连续批处理机制与 Dataflow 模型管理器，开发者只需几行代码即可构建端到端管线，测试中推理吞吐效率提升超过 23 倍。
Red Hat 宣布收购 Neural Magic：押注开源推理引擎 vLLM
Red Hat 宣布签署最终协议收购 AI 推理优化初创公司 Neural Magic。Neural Magic 源自麻省理工学院，在开源推理项目 vLLM 中扮演核心角色。这笔收购将补齐 Red Hat 在混合云环境下的开源大模型部署与加速能力。