NVIDIA 推出 Chat with RTX：本地免费跑大模型，直接问答个人文档与视频

想让 AI 帮你翻找硬盘里的隐私文档，又不敢把它们传给云端模型？现在不用纠结了，你显卡里的显存派上了用场。

NVIDIA 发布了一款名为 Chat with RTX 的免费技术演示应用。只要你的 Windows 电脑里插着一块 RTX 30 或 40 系列显卡，显存不低于 8GB，就能在本地直接跑起 Mistral 或 Llama 2 开源大模型。

喂本地文档，还能扒 YouTube 视频字幕

Chat with RTX 的核心逻辑其实就是本地化的检索增强生成，也就是大家常说的 RAG。它靠 NVIDIA 的 TensorRT-LLM 软件做底层加速，配合显卡上的 Tensor 核心，让大模型只依据你指定的内容来回答问题。

你可以直接把一个文件夹指给它，软件几秒钟就能建好索引。目前它支持的文件格式挺全，包括 txt、pdf、doc、docx 以及 xml。比如你问它伴侣之前在拉斯维加斯推荐过哪家餐厅，它就会去翻你存下的游记或笔记，提取出具体答案。

有意思的是，它还支持直接输入 YouTube 视频或播放列表的链接。它会抓取视频字幕，让用户通过提问来搜索长视频里的特定片段，或者做全文摘要。

据 The Verge 实测，在本地用它检索去年微软 FTC 诉讼案的复杂文档时，总结 Xbox Game Pass 商业策略的效果相当准确，而且调取 PDF 信息的速度几乎是瞬间完成，没有任何云端等待的延迟感。

本质上是个极客的技术小样

虽然听起来很美好，但它目前完全就是一个硬核的开发者技术演示，普通人用起来可能会有点抓狂。

首先是体量惊人。据测试，整个安装包解压部署完接近 40GB，在一台 i9-14900K 加 RTX 4090 的旗舰机器上，光安装就花了大约 30 分钟。运行它相当于在电脑里跑了一个本地 Web 服务器和 Python 环境，后台挂着一个黑乎乎的命令行窗口，前台则用浏览器打开界面。

毛刺也非常多。NVIDIA 官方甚至提醒，如果安装时不小心改了默认路径就会报错失败，目前只能老老实实装在默认的 AppData 路径下。此外，它在索引文件夹时会在目录内塞入 JSON 索引文件，所以千万别顺手把它指向你的整个个人文档根目录。

据 The Verge 测试，一次性喂给它 2.5 万份文档会直接导致软件崩溃；抓取 YouTube 视频时偶尔会抽风下错完全不相干的字幕；更要命的是，这个聊天机器人没有多轮对话记忆，你没法根据上一句的回答追问下一句。

为什么重要

我们认为，Chat with RTX 最聪明的地方在于它精准击中了两个群体的痛点：极度看重隐私的数据研究者，以及不想按月交 20 美元买 Copilot Pro 或 ChatGPT Plus 的个人用户。把敏感数据放在断网的本地电脑上跑，彻底不用担心被第三方抓去当训练材料，单凭这一点就能打动很多专业人士。

不过，现在的它绝对谈不上是一个成熟的消费级产品，我们觉得普通用户大可不必急着尝鲜。动辄 40GB 的磁盘占用、不记上文的对话逻辑、挑剔的路径和脆弱的稳定性，都在提醒你这只是个给极客过瘾的演示。

对于整个行业而言，这是 NVIDIA 在硬件生态上的一场重要秀肌肉。它通过 TensorRT-LLM 告诉开发者：本地大模型不仅能跑，而且响应速度可以快到秒杀云端。这把压力直接推给了微软和各类云端 AI 服务商——当本地算力足够便宜好用时，用户为什么还要把全部数据和订阅费交给云端呢？