NVIDIA 聯手推出 Signs 平臺：用 3D 數字人和攝像頭 AI 學手語

在美國，美語手語（ASL）是使用人數排在第三位的語言，僅次於英語和西班牙語。

但在當下的 AI 世界裡，手語幾乎成了被遺忘的角落。大語言模型把英語網頁扒了個遍，多模態模型也能看圖寫詩，卻很少有模型能真正看懂一段手語表達。

為了補上這個缺口，NVIDIA 聯手美國聾啞兒童協會（ASDC）以及創意機構 Hello Monday，推出了一款名為 Signs 的網頁互動學習平臺。

攝像頭當私教，3D 小人教比劃

Signs 目前已經上線，任何人開啟瀏覽器就能免費體驗。

它的邏輯很直觀。平臺內建了一個 3D 虛擬形象，負責示範手語的標準動作。使用者跟著比劃時，開啟電腦攝像頭，背後的 AI 工具會即時分析你的手部姿態與指關節動作，立刻給出正誤反饋。

目前平臺上線了首批 100 個常用基礎手語詞彙，用來幫初學者應付日常生活溝通。之前做過手語字母拼寫應用 Fingerspelling.xyz 的 Hello Monday，這次繼續操刀了 Signs 的互動設計。

更有意思的是它的資料迴圈設計。除了學手語，任何人都可以通過錄制特定詞彙的手勢影片，向平臺貢獻資料。

NVIDIA 計劃把這個手語影片庫擴充到 40 萬個影片片段，涵蓋 1000 個核心手語詞彙。為了保證資料質量，所有錄入的內容都會由精通 ASL 的專業人士和手語翻譯員逐一稽核校驗。

未來這個資料集會向公眾完全開放，方便開發者構建手語翻譯 Agent、數字人以及視訊會議無障礙外掛。

手語不僅是手的事，還有表情

不過，現在的 Signs 還有明顯的短板，團隊自己也很坦誠。

真正的 ASL 遠不止手指和手掌的移動。說話時的挑眉、撇嘴等面部神態，以及頭部的傾斜和晃動，在手語語法裡被稱為「非手動訊號」，直接決定了句子的語氣、疑問還是否定。

目前的 Signs 還只能追蹤手部動作和手指位置。開發團隊表示，他們正在探索後續版本中如何把面部表情和頭部運動追蹤加進來。

此外，不同地區的手語方言和俚語表達也是下一步的研究重點。他們目前正與羅切斯特理工學院的可訪問性與包容性研究中心合作，持續最佳化聾人和弱聽人士的使用體驗。

為什麼重要

根據美國聾啞兒童協會的資料，絕大多數聾啞孩子都出生在聽力正常的家庭裡。如果父母不懂手語，孩子在嬰幼兒時期的溝通就會受到很大阻礙。有了這種低門檻的網頁工具，聽力正常的父母在家裡隨時能學、隨時能查，甚至能帶著孩子一起當遊戲玩，這比去報昂貴且時間固定的線下培訓班管用得多。

對 AI 行業來說，多模態應用現在最缺的就是高質量、經過專家驗證的冷門垂直場景資料。手語不僅涉及空間三維動作，還包含強時間序列特徵，訓練難度極高。NVIDIA 願意把未來包含 40 萬片段的資料集開源，等於是在給整個無障礙互動生態做公共基礎設施建設。

我們認為，NVIDIA 這種「做教學工具順便搞眾包」的打法很聰明。比起單純花錢僱群演擺拍，讓真實使用者在使用中貢獻多角度、多光照、不同體型的自然資料，樣本豐富度要高得多。

隱患在於，如果面部表情和上下文語意不能儘快整合進模型，僅靠手勢識別做出來的手語 AI，很容易在實際交流中產生嚴重誤解。但無論如何，能邁出這一步，總比讓數百萬手語使用者繼續在 AI 浪潮中缺席要好得多。