大模型温度为 0 仍会变？Thinking Machines 称真凶在动态批次
Thinking Machines AI 发文剖析大模型推理不可复现的根源。业内常将「温度为 0 仍给不同结果」归咎于 GPU 浮点计算并发冲突，但团队发现前向传播本身并无原子累加，真正的罪魁祸首是推理服务因动态批处理缺乏「批次不变性」，输出会因与其他并发请求凑批而改变。
SGLang
Z.ai 推出 GLM-4.5：主打深度推理与智能体，355B 仅激活 32B 参数
今天，Z.ai 推出旗舰模型 GLM-4.5 及轻量版 GLM-4.5-Air，同步上线 FP8 版本。模型采用 MoE 架构，以 355B 总参数、32B 激活实现更深层推理，首发支持 SGLang 部署。最值得关注的是其工具调用成功率达 90.6%，能更稳定地支撑复杂智能体和多轮编程工作流。
斯坦福开源 Tokasaurus：专注高吞吐推理，性能超 vLLM 达 3 倍
斯坦福团队开源大模型推理引擎 Tokasaurus，专为合成数据生成与批量任务等高吞吐场景设计。它通过极低 CPU 开销与动态前缀复用优化小模型，并针对无 NVLink 显卡优化流水线并行，吞吐量比 vLLM 和 SGLang 最高提升超 3 倍。
xAI 三天重写推理代码：Grok-2 mini 提速一倍，大模型推理更顺畅
xAI 团队在过去三天里用开源框架 SGLang 从头重写了推理技术栈。Grok-2 mini 的运行速度直接翻倍，且模型准确率略微上升；同时这一重构也让需要多机推理的 Grok-2 大模型拥有了更合理的服务响应速度。