大模型溫度為 0 仍會變？Thinking Machines 稱真兇在動態批次
Thinking Machines AI 發文剖析大模型推理不可復現的根源。業內常將「溫度為 0 仍給不同結果」歸咎於 GPU 浮點計算併發衝突，但團隊發現前向傳播本身並無原子累加，真正的罪魁禍首是推理服務因動態批處理缺乏「批次不變性」，輸出會因與其他併發請求湊批而改變。
SGLang
Z.ai 推出 GLM-4.5：主打深度推理與智慧體，355B 僅啟用 32B 引數
今天，Z.ai 推出旗艦模型 GLM-4.5 及輕量版 GLM-4.5-Air，同步上線 FP8 版本。模型採用 MoE 架構，以 355B 總引數、32B 啟用實現更深層推理，首發支援 SGLang 部署。最值得關注的是其工具呼叫成功率達 90.6%，能更穩定地支撐複雜智慧體和多輪程式設計工作流。
斯坦福開源 Tokasaurus：專注高吞吐推理，效能超 vLLM 達 3 倍
斯坦福團隊開源大模型推理引擎 Tokasaurus，專為合成數據生成與批次任務等高吞吐場景設計。它通過極低 CPU 開銷與動態字首複用最佳化小模型，並針對無 NVLink 顯示卡最佳化流水線並行，吞吐量比 vLLM 和 SGLang 最高提升超 3 倍。
xAI 三天重寫推理程式碼：Grok-2 mini 提速一倍，大模型推理更順暢
xAI 團隊在過去三天裡用開源框架 SGLang 從頭重寫了推理技術棧。Grok-2 mini 的執行速度直接翻倍，且模型準確率略微上升；同時這一重構也讓需要多機推理的 Grok-2 大模型擁有了更合理的服務響應速度。