NVIDIA 联手推出 Signs 平台：用 3D 数字人和摄像头 AI 学手语

在美国，美语手语（ASL）是使用人数排在第三位的语言，仅次于英语和西班牙语。

但在当下的 AI 世界里，手语几乎成了被遗忘的角落。大语言模型把英语网页扒了个遍，多模态模型也能看图写诗，却很少有模型能真正看懂一段手语表达。

为了补上这个缺口，NVIDIA 联手美国聋哑儿童协会（ASDC）以及创意机构 Hello Monday，推出了一款名为 Signs 的网页互动学习平台。

摄像头当私教，3D 小人教比划

Signs 目前已经上线，任何人打开浏览器就能免费体验。

它的逻辑很直观。平台内置了一个 3D 虚拟形象，负责示范手语的标准动作。用户跟着比划时，打开电脑摄像头，背后的 AI 工具会实时分析你的手部姿态与指关节动作，立刻给出正误反馈。

目前平台上线了首批 100 个常用基础手语词汇，用来帮初学者应付日常生活沟通。之前做过手语字母拼写应用 Fingerspelling.xyz 的 Hello Monday，这次继续操刀了 Signs 的交互设计。

更有意思的是它的数据循环设计。除了学手语，任何人都可以通过录制特定词汇的手势视频，向平台贡献数据。

NVIDIA 计划把这个手语视频库扩充到 40 万个视频片段，涵盖 1000 个核心手语词汇。为了保证数据质量，所有录入的内容都会由精通 ASL 的专业人士和手语翻译员逐一审核校验。

未来这个数据集会向公众完全开放，方便开发者构建手语翻译 Agent、数字人以及视频会议无障碍插件。

手语不仅是手的事，还有表情

不过，现在的 Signs 还有明显的短板，团队自己也很坦诚。

真正的 ASL 远不止手指和手掌的移动。说话时的挑眉、撇嘴等面部神态，以及头部的倾斜和晃动，在手语语法里被称为「非手动信号」，直接决定了句子的语气、疑问还是否定。

目前的 Signs 还只能追踪手部动作和手指位置。开发团队表示，他们正在探索后续版本中如何把面部表情和头部运动追踪加进来。

此外，不同地区的手语方言和俚语表达也是下一步的研究重点。他们目前正与罗切斯特理工学院的可访问性与包容性研究中心合作，持续优化聋人和弱听人士的使用体验。

为什么重要

根据美国聋哑儿童协会的数据，绝大多数聋哑孩子都出生在听力正常的家庭里。如果父母不懂手语，孩子在婴幼儿时期的沟通就会受到很大阻碍。有了这种低门槛的网页工具，听力正常的父母在家里随时能学、随时能查，甚至能带着孩子一起当游戏玩，这比去报昂贵且时间固定的线下培训班管用得多。

对 AI 行业来说，多模态应用现在最缺的就是高质量、经过专家验证的冷门垂直场景数据。手语不仅涉及空间三维动作，还包含强时间序列特征，训练难度极高。NVIDIA 愿意把未来包含 40 万片段的数据集开源，等于是在给整个无障碍交互生态做公共基础设施建设。

我们认为，NVIDIA 这种「做教学工具顺便搞众包」的打法很聪明。比起单纯花钱雇群演摆拍，让真实用户在使用中贡献多角度、多光照、不同体型的自然数据，样本丰富度要高得多。

隐患在于，如果面部表情和上下文语意不能尽快整合进模型，仅靠手势识别做出来的手语 AI，很容易在实际交流中产生严重误解。但无论如何，能迈出这一步，总比让数百万手语使用者继续在 AI 浪潮中缺席要好得多。