#Thinking Machines AI

7:01AIモデル拡散指数 62

温度0でもLLMの出力がブレる原因、Thinking Machinesが解明

Thinking Machines AIはLLM推論の非決定性を分析する技術記事を公開した。温度を0にしても結果が変わる原因はGPUの並行浮動小数点計算だと広く信じられていたが、前向計算自体は決定的だと判明。真の要因は動的バッチ処理にあり、同時に処理される他リクエストの影響で計算結果が変わる「バッチ不変性の欠如」にあると指摘した。