NVIDIA 更新数字人技术：推出可感知情绪的 AI 助手 James

很多人对客服数字人的印象，还停留在那种眼神发呆、嘴型对不齐台词的僵硬模型上。

在 SIGGRAPH 2024 上，NVIDIA 拿出了一整套给数字人「注入灵魂」的新活，想让这些虚拟助手真正跟人聊得来。

会讲段子的 James，和一张照片就能开口的黑科技

这次最惹眼的是一个名叫 James 的数字品牌形象大使。

James 基于 NVIDIA ACE 参考工作流打造，跑在 NVIDIA NIM 微服务上。他不仅懂得抓取技术文档做检索增强生成（RAG），还能带着幽默感和丰富情绪回答问题，声音则由 ElevenLabs 提供。

普通人不用等落地案例，现在直接去 ai.nvidia.com 就能找他实时聊天。

视频平台 Maxine 这边也拿出了两项很实用的升级。

一项是即将开启早期访问的 Maxine 3D，能直接把一段普通的 2D 视频头像实时转成 3D 虚拟形象，放进视频会议或者双向视频沟通里。

另一项是已经可以体验的 Audio2Face-2D，只要扔给它一张静态人像照片和一段语音，它就能把照片变成嘴型严丝合缝、表情生动的开口说话视频。

笔记本本地跑大模型，邮轮上来了六国语言导游

光有自家 Demo 还不算，各家硬件和方案商也把这套技术搬进了真实场景。

做数字人的 UneeQ 带来了两个演示。其中一个最接地气：完全运行在单台搭载 NVIDIA RTX GPU 的笔记本电脑上，靠着本地跑的 Gemma 7B 模型、RAG 和 Audio2Face-3D 微服务，就能驱动一个能看懂用户面部表情和动作的虚拟助手。

全息显示厂商 Looking Glass 则把 Maxine 的 3D 能力连上普通摄像头，在他们的 16 英寸和 32 英寸空间显示屏上做出了无须戴眼镜的裸眼 3D「魔镜」。

HTC Viverse 顺手把 Audio2Face-3D 塞进了自己的 AI agent 里管唇形同步；咨询公司 Reply 则给歌诗达邮轮造了个叫 Futura 的六国语言管家，集成了 GPT-4o、Hume AI 情感识别和虚幻引擎 5.4.3，专门帮游客排岸上行程和订票。

为什么重要

以前做高保真数字人，门槛高得吓人。你不仅要懂 3D 建模、动捕绑定，还得自己把大模型、语音识别、文本转语音和面部驱动一个个拼起来，延迟还动辄几秒，根本没法实时对话。

NVIDIA 这一步走得极其精明。他们没有去抢着做终端口碑产品，而是把整个数字人链条拆成了模块化的 NIM 微服务，把嘴型对齐、面部驱动、语音转换这些最脏最累的活全包了。

更值得关注的是部署成本的下放。UneeQ 在单台笔记本上跑通 Gemma 7B 和 Audio2Face-3D，说明这套东西正在从动辄几张企业级算力卡的高峰，走向店面收银机或前台工控机就能承受的日常。

不过，我们认为企业在急着把数字人搬上前台之前，还得想清楚用户究竟要什么。再逼真的皮囊，如果底层大模型给不出解决问题的方案，或者多轮对话里突然胡言乱语，用户的挫败感反而会因为那张过于逼真的人脸而成倍放大。