#Helix Parallelism

1:00研究拡散指数 31

NVIDIAがHelix並列化を発表：数百万トークンのリアルタイム推論で同時実行数を32倍に

NVIDIAはBlackwell向けの新技術「Helix Parallelism」を公開しました。アテンションとFFNの並列戦略を分離することでDRAM帯域のボトルネックを解消し、一定の遅延要件下で同時接続ユーザー数を最大32倍に引き上げます。今後主要な推論フレームワークへ統合予定です。