NVIDIA 开源 Audio2Face：输入音频就能实时生成 3D 面部动画

首次发布 2025年9月24日 UTC 17:00传播指数 68

NVIDIA 宣布正式开源 Audio2Face 技术，包括模型、SDK 和训练框架。该工具通过分析音素和语调，能由音频直接生成精准的口型与微表情，支持离线渲染与实时流式传输。也就是说，游戏和 3D 应用开发者现在可以免费且深度定制这套面部动画管线。

NVIDIA Audio2Face 是一套用语音直接驱动 3D 角色面部表情与口型的工具，现在官方把它彻底开源了。

这次开放的不仅是预训练模型和推理 SDK，还包括完整的训练框架，开发者可以免费下载、集成，并根据自己的角色风格做二次微调。

它能做什么

你只需要给它一段语音输入，它就能自动生成高精度的面部表情和对齐的口型动画，免去了繁琐的手动打关键帧与骨骼绑定微调。

这套工具支持两种工作流：既可以在影视与预渲染管线中做离线高质量导出，也能直接接入实时引擎，为 AI 驱动的动态 NPC 或虚拟主播提供毫秒级的流式面部动画。

在商业游戏领域，像 The Farm 51 已经在《Chernobylite 2: Exclusion Zone》中运用该技术节省了大量面部动捕清理工时；Survios 也在《Alien: Rogue Incursion Evolved Edition》中利用它来加速口型同步制作流程。

3D 角色平台 Reallusion 也把 Audio2Face 整合进了 iClone 和 Character Creator 工具链，支持多语言口型生成，并与面部木偶、AccuLip 等精修功能无缝配合。

这套系统的核心逻辑在于分析语音音频中的声学特征，比如音素和语调起伏。

模型会将这些声学数据转化为动画流，再精准映射到 3D 角色的面部变形目标或骨骼姿态上，从而表达自然的说话情绪。

这次开源最实在的地方，在于 NVIDIA 把训练框架也一并交了出来。

如果预置模型无法完美匹配某种特殊的卡通画风，或者你需要针对小语种做特定优化，可以直接用自己的动画数据在现有模型基础上进行微调与定制。

相关工具与 SDK 已经可以在 NVIDIA Developer 平台获取，官方同时在 Discord 设立了开发者社区供交流答疑。

面部绑定和口型同步一直以来都是 3D 内容制作中最费时、最烧钱的环节。Audio2Face 的开源，让独立游戏开发者和小型工作室不需要昂贵的动捕设备，就能做出工业级水准的数字角色。

我们认为，NVIDIA 这一步走得相当精明。把原本偏向专有生态的杀手级工具开源，可以迅速将自己的技术标准推向整个 3D 与游戏开发社区；而当行业里有越来越多实时神经面部动画在跑时，最终受益的依然是自家的 RTX 显卡与算力硬件。