大模型溫度為 0 仍會變？Thinking Machines 稱真兇在動態批次
Thinking Machines AI 發文剖析大模型推理不可復現的根源。業內常將「溫度為 0 仍給不同結果」歸咎於 GPU 浮點計算併發衝突，但團隊發現前向傳播本身並無原子累加，真正的罪魁禍首是推理服務因動態批處理缺乏「批次不變性」，輸出會因與其他併發請求湊批而改變。
Thinking Machines AI 發文剖析大模型推理不可復現的根源。業內常將「溫度為 0 仍給不同結果」歸咎於 GPU 浮點計算併發衝突，但團隊發現前向傳播本身並無原子累加，真正的罪魁禍首是推理服務因動態批處理缺乏「批次不變性」，輸出會因與其他併發請求湊批而改變。