大模型溫度為 0 仍會變？Thinking Machines 稱真兇在動態批次
Thinking Machines AI 發文剖析大模型推理不可復現的根源。業內常將「溫度為 0 仍給不同結果」歸咎於 GPU 浮點計算併發衝突，但團隊發現前向傳播本身並無原子累加，真正的罪魁禍首是推理服務因動態批處理缺乏「批次不變性」，輸出會因與其他併發請求湊批而改變。
vLLM
斯坦福開源 Tokasaurus：專注高吞吐推理，效能超 vLLM 達 3 倍
斯坦福團隊開源大模型推理引擎 Tokasaurus，專為合成數據生成與批次任務等高吞吐場景設計。它通過極低 CPU 開銷與動態字首複用最佳化小模型，並針對無 NVLink 顯示卡最佳化流水線並行，吞吐量比 vLLM 和 SGLang 最高提升超 3 倍。
Gemma 推理新方案：Dataflow 結合 vLLM 提速超 23 倍
Google 介紹了將 vLLM 接入 Dataflow 流式管線執行 Gemma 2B 模型的方法。藉助 vLLM 的連續批處理機制與 Dataflow 模型管理器，開發者只需幾行程式碼即可構建端到端管線，測試中推理吞吐效率提升超過 23 倍。
Red Hat 宣佈收購 Neural Magic：押注開源推理引擎 vLLM
Red Hat 宣佈簽署最終協議收購 AI 推理最佳化初創公司 Neural Magic。Neural Magic 源自麻省理工學院，在開源推理專案 vLLM 中扮演核心角色。這筆收購將補齊 Red Hat 在混合雲環境下的開源大模型部署與加速能力。