NVIDIA、ローカルで動く「Chat with RTX」を無料公開：PC内の文書や動画と対話

ローカルにある秘密のメモや書類をAIに調べさせたいけれど、データをクラウドに預けたくない。そんな悩みを抱えるPCユーザーに向けたツールが登場しました。

NVIDIAは2月13日、Windows PC上でローカル動作するパーソナルAIチャットボットの無料デモアプリ「Chat with RTX」を公開しました。GeForce RTX 30シリーズまたは40シリーズのGPUを搭載し、ビデオメモリ（VRAM）が8GB以上ある環境で利用できます。

手元のPDFやYouTube動画を読み込ませる

このツールは、RAG（検索拡張生成）とNVIDIAのTensorRT-LLMソフトウェアを活用しています。MistralやLlama 2といったオープンソースの大規模言語モデルを、PC内のローカルファイルに接続して質問できる仕組みです。

対応形式はtxt、pdf、doc、docx、xmlなど。ファイルをまとめたフォルダを指定すれば、わずか数秒でライブラリに取り込まれます。例えば「パートナーがラスベガスでおすすめしていたレストランはどこだっけ？」と尋ねれば、ローカルのメモを瞬時に探して答えてくれます。

さらにYouTubeの動画やプレイリストのURLを入力して、字幕データを参照させることも可能です。動画内の発言検索や、チュートリアルの要約を即座に作成できます。

米The Vergeによる試用レポートによると、膨大な裁判資料の要約はほぼ一瞬で完了し、クラウド型チャットボットのような応答待ちの遅延は全く感じられなかったといいます。

初期デモらしい粗さも

画期的な一方で、完成された一般向けアプリというよりは、かなり粗削りな技術デモにとどまっています。

まずサイズが約40GBと巨大で、環境によってはインストールに30分ほどかかります。実行するとローカルでWebサーバーとPythonが立ち上がり、コマンドプロンプトが裏でエラーコードを吐き出しながらブラウザで画面を開くという、ギーク向けの構造です。NVIDIA公式も、デフォルト以外のインストール先を選ぶと失敗する不具合を案内しています。

機能面でも制約が目立ちます。2万5000件のドキュメントを読み込ませようとするとクラッシュし、YouTubeのURLから全く無関係な動画の字幕を取得してしまう不具合も報告されています。何より文脈を記憶できないため、前回の回答を踏まえた追加質問ができません。

なぜ重要か

私たちは、この取り組みが「データプライバシーを最優先するプロ」と「月額サブスクリプションを避けたいユーザー」の双方に強い訴求力を持つと考えています。機密データをネットに一切流さず、オフラインのローカル環境だけで高速に処理できるメリットは、クラウドAIにはない強みです。

ただし、今すぐ万人がインストールすべきかというと、まだその段階にはありません。40GBもの容量を食う点や、会話の文脈を保持できない仕様、フォルダ内にインデックス用JSONを直接書き出してしまう挙動を考えると、実務で常用するにはまだ我慢が必要です。

業界全体にとって見逃せないのは、NVIDIAがTensorRT-LLMを使ってローカルAIの実用性を明確に示した点です。強力なGPUさえあれば手元で実用的なRAGが組めると証明されたことで、あらゆる処理をクラウドに集約しようとする大手サービスとの間で、棲み分けの議論が一段と進みそうです。