温度0でもLLMの出力がブレる原因、Thinking Machinesが解明
Thinking Machines AIはLLM推論の非決定性を分析する技術記事を公開した。温度を0にしても結果が変わる原因はGPUの並行浮動小数点計算だと広く信じられていたが、前向計算自体は決定的だと判明。真の要因は動的バッチ処理にあり、同時に処理される他リクエストの影響で計算結果が変わる「バッチ不変性の欠如」にあると指摘した。
SGLang
Z.aiがフラグシップ「GLM-4.5」公開、推論・コーディング・自律エージェント性能を強化
Z.aiはフラグシップモデル「GLM-4.5」および軽量版「GLM-4.5-Air」を発表した。355Bパラメータ（アクティブ32B）のMoE構成を採用し、層の深さを優先した設計で論理推論や自律エージェント性能を向上させた。推論エンジンSGLangに初日から対応し、ツール呼び出し成功率は90.6％に達する。
スタンフォード大がTokasaurus公開：高スループット特化でvLLMを最大3倍凌駕
スタンフォード大学の研究チームが高スループット処理に特化した推論エンジン「Tokasaurus」をオープンソースで公開した。CPU負荷の削減や共有プレフィックスの動的活用、非NVLink環境での並列化最適化により、vLLMやSGLangと比べ最大3倍以上のスループットを達成している。
xAIが推論スタックを刷新、Grok-2 miniの生成速度が2倍に向上
xAIの開発チームがオープンソースフレームワーク「SGLang」を採用し、推論コード全体を3日間でゼロから書き直した。これによりGrok-2 miniの処理速度が前日比で2倍に向上し、精度もわずかに改善されたほか、大型のGrok-2の推論も効率化された。