温度0でもLLMの出力がブレる原因、Thinking Machinesが解明
Thinking Machines AIはLLM推論の非決定性を分析する技術記事を公開した。温度を0にしても結果が変わる原因はGPUの並行浮動小数点計算だと広く信じられていたが、前向計算自体は決定的だと判明。真の要因は動的バッチ処理にあり、同時に処理される他リクエストの影響で計算結果が変わる「バッチ不変性の欠如」にあると指摘した。
vLLM
スタンフォード大がTokasaurus公開：高スループット特化でvLLMを最大3倍凌駕
スタンフォード大学の研究チームが高スループット処理に特化した推論エンジン「Tokasaurus」をオープンソースで公開した。CPU負荷の削減や共有プレフィックスの動的活用、非NVLink環境での並列化最適化により、vLLMやSGLangと比べ最大3倍以上のスループットを達成している。
Gemma推論の新構成：DataflowとvLLMの連携で効率が23倍超に
GoogleはDataflowパイプラインにvLLMを組み込んでGemma 2Bを効率的に推論する手法を発表した。vLLMの継続的バッチ処理とDataflowのモデルマネージャーを活用し、数行のコードで推論効率を23倍以上向上させることができる。
Red HatがNeural Magicの買収を発表、vLLM軸に推論基盤を強化へ
Red HatはAI推論最適化ソフトウェアを手がけるNeural Magicを買収する最終契約を締結したと発表した。MIT発の同社はオープンソースの推論エンジン「vLLM」の開発をリードしており、ハイブリッドクラウドでのLLM展開基盤を強化する狙いがある。