NVIDIA 推出首款端侧模型 Nemotron-4 4B：游戏 NPC 可本地即时交互

以前在游戏里跟 NPC 对话，基本就是那几句写好的台词，选来选去还是老一套。如果把云端大模型硬塞进游戏，延时又高得让人出戏，总不能问一句话让玩家干等两秒。

在德国科隆举办的 Gamescom 2024 上，Nvidia 掏出了一套让 NPC「住在玩家显卡里」的方案。他们推出了旗下首个专为游戏端侧设计的端侧小语言模型 Nemotron-4 4B Instruct，把它放进了数字人套件 Nvidia ACE 里。

40 亿参数的小模型怎么塞进显卡

大模型虽然知识面广，但体积庞大，跑起来既占显存又慢。玩游戏追求的是即时反馈，谁也不想对着一个发呆的 NPC 说话。

Nvidia 走了一条减重的路子：他们先把 150 亿参数的 Nemotron-4 15B 作为「老师」，蒸馏出 40 亿参数的「学生模型」Nemotron-4 4B。在这个过程中，团队剔除了非关键输出，接着再进行量化，压低模型权重精度。

这么一套操作下来，模型占用的显存大幅缩减，吐出第一个字的时间（首字延迟）也更快。重点是，它专门做了指令微调，专门强化了角色扮演、检索增强生成（RAG）和函数调用（Function Calling）能力，让游戏里的角色听懂指令并触发游戏内的动作。

在金山世游的机甲射击游戏《Mecha BREAK》（解限机）演示里，玩家就能直接开麦跟机械师 NPC 聊天，让对方帮忙切换机体或者改装机甲。

拼图式的数字人管线

这套跑在端侧的方案不只有 Nemotron-4 4B，而是多个微服务的组合。Nvidia 把它们打包成了 NIM 微服务，支持云端部署，也支持在本地 RTX 显卡上跑。

整套交互管线被拆成了好几块。先是语音识别，游戏支持本地运行的 Whisper 或 Nvidia 自家的 Riva ASR，把玩家的语音转成文字。

文字送进 Nemotron-4 4B 生成回答后，再由 Riva 的文字转语音（TTS）或者跑在云端的 ElevenLabs 生成声音。

最后一步是让角色「动起来」。Nvidia 的 Audio2Face-3D 微服务能直接根据音频推断情绪，自动生成匹配口型、舌头、面部肌肉和头部动作的表情动画，最后交给虚幻引擎或 Omniverse 渲染出来。

除了数字人，Nvidia 在 Gamescom 上还宣布 RTX 游戏和应用突破 600 款，公布了支持 DLSS 3.5 和全景光追的《黑神话：悟空》等 20 多款新作，并宣布与联发科合作将 G-Sync 芯片技术整合进显示器驱动芯片，不用独立硬件模块就能普及 G-Sync Pulsar。

为什么重要

我们认为，Nemotron-4 4B 的推出意味着生成式 AI 进游戏终于从「噱头演示」走向了「工程落地」。

过去很多厂商展示的 AI NPC，底层调用的往往是 OpenAI 的云端 API。这种做法致命的问题在于两点：一是网络延迟会让对话极其僵硬，二是单次对话产生的 API 费用全得开发者或玩家掏钱包。Nvidia 把 4B 模型端侧化，只要玩家手里有一张支持 RTX 的显卡，运算成本就直接被显卡消化掉，延迟也能压到可用区间。

看起来，Nvidia 这一步走得非常精明。目前全球有超过 1 亿台配备 GeForce RTX 的 PC 和笔记本，以及大量的 RTX 工作站。把模型轻量化并打包成 NIM，本质上是把自家庞大的显卡装机量变成了游戏厂商不可忽视的算力底座。

不过隐患依然存在。尽管蒸馏和量化保住了核心功能，但 4B 级别的模型在复杂逻辑理解和长上下文记忆上天然弱于百亿、千亿级大模型。如果游戏剧情分支复杂，端侧小模型依然可能出现穿帮或胡言乱语的情况。到底有多少游戏团队愿意为了这种自由交互去重构整个任务与剧本系统，依然有待观察。