NVIDIA 推出首款端側模型 Nemotron-4 4B：遊戲 NPC 可本地即時互動

以前在遊戲裡跟 NPC 對話，基本就是那幾句寫好的臺詞，選來選去還是老一套。如果把雲端大模型硬塞進遊戲，延時又高得讓人出戲，總不能問一句話讓玩家乾等兩秒。

在德國科隆舉辦的 Gamescom 2024 上，Nvidia 掏出了一套讓 NPC「住在玩家顯卡里」的方案。他們推出了旗下首個專為遊戲端側設計的端側小語言模型 Nemotron-4 4B Instruct，把它放進了數字人套件 Nvidia ACE 裡。

40 億引數的小模型怎麼塞進顯示卡

大模型雖然知識面廣，但體積龐大，跑起來既佔視訊記憶體又慢。玩遊戲追求的是即時反饋，誰也不想對著一個發呆的 NPC 說話。

Nvidia 走了一條減重的路子：他們先把 150 億引數的 Nemotron-4 15B 作為「老師」，蒸餾出 40 億引數的「學生模型」Nemotron-4 4B。在這個過程中，團隊剔除了非關鍵輸出，接著再進行量化，壓低模型權重精度。

這麼一套操作下來，模型佔用的視訊記憶體大幅縮減，吐出第一個字的時間（首字延遲）也更快。重點是，它專門做了指令微調，專門強化了角色扮演、檢索增強生成（RAG）和函式呼叫（Function Calling）能力，讓遊戲裡的角色聽懂指令並觸發遊戲內的動作。

在金山世遊的機甲射擊遊戲《Mecha BREAK》（解限機）演示裡，玩家就能直接開麥跟機械師 NPC 聊天，讓對方幫忙切換機體或者改裝機甲。

拼圖式的數字人管線

這套跑在端側的方案不只有 Nemotron-4 4B，而是多個微服務的組合。Nvidia 把它們打包成了 NIM 微服務，支援雲端部署，也支援在本地 RTX 顯示卡上跑。

整套互動管線被拆成了好幾塊。先是語音識別，遊戲支援本地執行的 Whisper 或 Nvidia 自家的 Riva ASR，把玩家的語音轉成文字。

文字送進 Nemotron-4 4B 生成回答後，再由 Riva 的文字轉語音（TTS）或者跑在雲端的 ElevenLabs 生成聲音。

最後一步是讓角色「動起來」。Nvidia 的 Audio2Face-3D 微服務能直接根據音訊推斷情緒，自動生成匹配口型、舌頭、面部肌肉和頭部動作的表情動畫，最後交給虛幻引擎或 Omniverse 渲染出來。

除了數字人，Nvidia 在 Gamescom 上還宣佈 RTX 遊戲和應用突破 600 款，公佈了支援 DLSS 3.5 和全景光追的《黑神話：悟空》等 20 多款新作，並宣佈與聯發科合作將 G-Sync 晶片技術整合進顯示器驅動晶片，不用獨立硬體模組就能普及 G-Sync Pulsar。

為什麼重要

我們認為，Nemotron-4 4B 的推出意味著生成式 AI 進遊戲終於從「噱頭演示」走向了「工程落地」。

過去很多廠商展示的 AI NPC，底層呼叫的往往是 OpenAI 的雲端 API。這種做法致命的問題在於兩點：一是網路延遲會讓對話極其僵硬，二是單次對話產生的 API 費用全得開發者或玩家掏錢包。Nvidia 把 4B 模型端側化，只要玩家手裡有一張支援 RTX 的顯示卡，運算成本就直接被顯示卡消化掉，延遲也能壓到可用區間。

看起來，Nvidia 這一步走得非常精明。目前全球有超過 1 億臺配備 GeForce RTX 的 PC 和筆記本，以及大量的 RTX 工作站。把模型輕量化並打包成 NIM，本質上是把自家龐大的顯示卡裝機量變成了遊戲廠商不可忽視的算力底座。

不過隱患依然存在。儘管蒸餾和量化保住了核心功能，但 4B 級別的模型在複雜邏輯理解和長上下文記憶上天然弱於百億、千億級大模型。如果遊戲劇情分支複雜，端側小模型依然可能出現穿幫或胡言亂語的情況。到底有多少遊戲團隊願意為了這種自由互動去重構整個任務與劇本系統，依然有待觀察。