NVIDIA 推出 Chat with RTX：本地免費跑大模型，直接問答個人文件與影片

想讓 AI 幫你翻找硬盤裡的隱私文件，又不敢把它們傳給雲端模型？現在不用糾結了，你顯卡里的視訊記憶體派上了用場。

NVIDIA 釋出了一款名為 Chat with RTX 的免費技術演示應用。只要你的 Windows 電腦裡插著一塊 RTX 30 或 40 系列顯示卡，視訊記憶體不低於 8GB，就能在本地直接跑起 Mistral 或 Llama 2 開源大模型。

喂本地文件，還能扒 YouTube 影片字幕

Chat with RTX 的核心邏輯其實就是本地化的檢索增強生成，也就是大家常說的 RAG。它靠 NVIDIA 的 TensorRT-LLM 軟體做底層加速，配合顯示卡上的 Tensor 核心，讓大模型只依據你指定的內容來回答問題。

你可以直接把一個資料夾指給它，軟體幾秒鐘就能建好索引。目前它支援的檔案格式挺全，包括 txt、pdf、doc、docx 以及 xml。比如你問它伴侶之前在拉斯維加斯推薦過哪家餐廳，它就會去翻你存下的遊記或筆記，提取出具體答案。

有意思的是，它還支援直接輸入 YouTube 影片或播放列表的連結。它會抓取影片字幕，讓使用者通過提問來搜尋長影片裡的特定片段，或者做全文摘要。

據 The Verge 實測，在本地用它檢索去年微軟 FTC 訴訟案的複雜文件時，總結 Xbox Game Pass 商業策略的效果相當準確，而且調取 PDF 資訊的速度幾乎是瞬間完成，沒有任何雲端等待的延遲感。

本質上是個極客的技術小樣

雖然聽起來很美好，但它目前完全就是一個硬核的開發者技術演示，普通人用起來可能會有點抓狂。

首先是體量驚人。據測試，整個安裝包解壓部署完接近 40GB，在一臺 i9-14900K 加 RTX 4090 的旗艦機器上，光安裝就花了大約 30 分鐘。執行它相當於在電腦裡跑了一個本地 Web 伺服器和 Python 環境，後臺掛著一個黑乎乎的命令列視窗，前臺則用瀏覽器開啟介面。

毛刺也非常多。NVIDIA 官方甚至提醒，如果安裝時不小心改了預設路徑就會報錯失敗，目前只能老老實實裝在預設的 AppData 路徑下。此外，它在索引資料夾時會在目錄內塞入 JSON 索引檔案，所以千萬別順手把它指向你的整個個人文件根目錄。

據 The Verge 測試，一次性餵給它 2.5 萬份文件會直接導致軟體崩潰；抓取 YouTube 影片時偶爾會抽風下錯完全不相干的字幕；更要命的是，這個聊天機器人沒有多輪對話記憶，你沒法根據上一句的回答追問下一句。

為什麼重要

我們認為，Chat with RTX 最聰明的地方在於它精準擊中了兩個群體的痛點：極度看重隱私的資料研究者，以及不想按月交 20 美元買 Copilot Pro 或 ChatGPT Plus 的個人使用者。把敏感資料放在斷網的本地電腦上跑，徹底不用擔心被第三方抓去當訓練材料，單憑這一點就能打動很多專業人士。

不過，現在的它絕對談不上是一個成熟的消費級產品，我們覺得普通使用者大可不必急著嚐鮮。動輒 40GB 的磁碟佔用、不記上文的對話邏輯、挑剔的路徑和脆弱的穩定性，都在提醒你這只是個給極客過癮的演示。

對於整個行業而言，這是 NVIDIA 在硬體生態上的一場重要秀肌肉。它通過 TensorRT-LLM 告訴開發者：本地大模型不僅能跑，而且響應速度可以快到秒殺雲端。這把壓力直接推給了微軟和各類雲端 AI 服務商——當本地算力足夠便宜好用時，使用者為什麼還要把全部資料和訂閱費交給雲端呢？