NVIDIA、ローカルで動く「Chat with RTX」を無料公開：PC内の文書や動画と対話
NVIDIAは、Windows PC上でローカルにカスタムチャットボットを動かせるデモ「Chat with RTX」を無料公開した。MistralやLlama 2といったオープンソースLLMに手元の文書やYouTube動画を読み込ませ、オフラインで素早く検索・対話できる。利用にはGeForce RTX 30 Series GPU以上と8GB以上のVRAMが必要だ。
TensorRT-LLM
NVIDIAがTensorRT-LLMを公開：H100推論性能が最大8倍に向上
NVIDIAはLLM推論を大幅に高速化するオープンソースライブラリ「TensorRT-LLM」を発表した。In-flight batchingやFP8量子化により、H100上でA100比最大8倍のスループットを達成し、Llama 2も4.6倍高速化する。Python APIを通じて手軽に並列処理を実装でき、データセンターの運用コスト削減に貢献する。