NVIDIA 更新數字人技術：推出可感知情緒的 AI 助手 James

很多人對客服數字人的印象，還停留在那種眼神發呆、嘴型對不齊臺詞的僵硬模型上。

在 SIGGRAPH 2024 上，NVIDIA 拿出了一整套給數字人「注入靈魂」的新活，想讓這些虛擬助手真正跟人聊得來。

會講段子的 James，和一張照片就能開口的黑科技

這次最惹眼的是一個名叫 James 的數字品牌形象大使。

James 基於 NVIDIA ACE 參考工作流打造，跑在 NVIDIA NIM 微服務上。他不僅懂得抓取技術文件做檢索增強生成（RAG），還能帶著幽默感和豐富情緒回答問題，聲音則由 ElevenLabs 提供。

普通人不用等落地案例，現在直接去 ai.nvidia.com 就能找他即時聊天。

影片平臺 Maxine 這邊也拿出了兩項很實用的升級。

一項是即將開啟早期訪問的 Maxine 3D，能直接把一段普通的 2D 影片頭像即時轉成 3D 虛擬形象，放進視訊會議或者雙向影片溝通裡。

另一項是已經可以體驗的 Audio2Face-2D，只要扔給它一張靜態人像照片和一段語音，它就能把照片變成嘴型嚴絲合縫、表情生動的開口說話影片。

筆記本本地跑大模型，郵輪上來了六國語言導遊

光有自家 Demo 還不算，各家硬體和方案商也把這套技術搬進了真實場景。

做數字人的 UneeQ 帶來了兩個演示。其中一個最接地氣：完全執行在單臺搭載 NVIDIA RTX GPU 的筆記型電腦上，靠著本地跑的 Gemma 7B 模型、RAG 和 Audio2Face-3D 微服務，就能驅動一個能看懂使用者面部表情和動作的虛擬助手。

全息顯示廠商 Looking Glass 則把 Maxine 的 3D 能力連上普通攝像頭，在他們的 16 英寸和 32 英寸空間顯示屏上做出了無須戴眼鏡的裸眼 3D「魔鏡」。

HTC Viverse 順手把 Audio2Face-3D 塞進了自己的 AI agent 裡管唇形同步；諮詢公司 Reply 則給歌詩達郵輪造了個叫 Futura 的六國語言管家，集成了 GPT-4o、Hume AI 情感識別和虛幻引擎 5.4.3，專門幫遊客排岸上行程和訂票。

為什麼重要

以前做高保真數字人，門檻高得嚇人。你不僅要懂 3D 建模、動捕繫結，還得自己把大模型、語音識別、文本轉語音和麵部驅動一個個拼起來，延遲還動輒幾秒，根本沒法即時對話。

NVIDIA 這一步走得極其精明。他們沒有去搶著做終埠碑產品，而是把整個數字人鏈條拆成了模組化的 NIM 微服務，把嘴型對齊、面部驅動、語音轉換這些最髒最累的活全包了。

更值得關注的是部署成本的下放。UneeQ 在單檯筆記本上跑通 Gemma 7B 和 Audio2Face-3D，說明這套東西正在從動輒幾張企業級算力卡的高峰，走向店面收銀機或前臺工控機就能承受的日常。

不過，我們認為企業在急著把數字人搬上前臺之前，還得想清楚使用者究竟要什麼。再逼真的皮囊，如果底層大模型給不出解決問題的方案，或者多輪對話裡突然胡言亂語，使用者的挫敗感反而會因為那張過於逼真的人臉而成倍放大。