DeepMind 釋出手語大模型 SL2T：Pixel 11 支援手語直接打字

聽力正常的人早就習慣了對著手機隨口發語音轉文字，但全世界超過七千萬依靠手語交流的聾人與重聽群體，在面對智慧手機時卻幾乎只能一個字母一個字母地戳鍵盤。過去那些試圖做手語識別的方案，要麼停留在實驗室裡擺弄昂貴的資料手套，要麼粗暴地把手語當成用手比劃出來的英語單詞。

Google DeepMind 剛剛正式釋出了手語轉文本模型 SL2T，並且第一次把它塞進了消費級手機裡。作為首發陣地，Pixel 11 上的 Gboard 輸入法和即時轉錄功能已經集成了這項能力，首期支援美式手語到英語的即時轉譯，免費向用戶提供。

扔掉影片畫面，只算骨骼座標

手語並不是發音語言的肢體對映，它擁有完全獨立於英語的完整語法體系，而且極度依賴雙手、手臂、軀幹、頭部以及面部表情的同步配合。早期研究習慣用中間標註詞來做過渡，但這種方式會直接丟掉大量空間結構和微表情資訊。

DeepMind 這次訓練 SL2T 收集了超過十萬小時的資料，覆蓋五十多種手語，其中美式手語佔了大約四分之一。模型直接跳過了標註詞階段，學會從連續的動作序列直接翻譯成地道文本，在權威評測基準 FLEURS-ASL 上拿下了 70 BLEURT 的零樣本得分。

更巧妙的地方在於隱私處理。手機攝像頭如果一直開著錄製房間和使用者的畫面，隱私風險極大。DeepMind 的做法是在裝置端用輕量級的 MediaPipe Holistic 先捕捉人體的骨骼關鍵點座標，隨後立刻把原始影片幀直接丟棄，最後傳去雲端做文本生成的只有一串抽象的幾何位置資料。

為了讓它在日常生活中真的可用，團隊還專門針對單手打手語、非手語動作防誤觸發，以及大約佔一成比例的左撇子手勢做了定向最佳化。

像普通人發語音一樣給手機打手語

在具體的系統體驗上，這套手語聽寫覆蓋了以往需要調出鍵盤的所有場景。聾人使用者現在可以直接對著前置攝像頭打美式手語來搜尋網頁、撰寫即時訊息，或者向 Gemini 助手下發各種日常任務指令。

在面對面的溝通場景中，即時轉錄功能允許使用者一邊看著對方的語音轉寫，一邊自己打手語輸出英文字串，省去了來回把手機遞給對方打字的麻煩。據參與前期測試的使用者反饋，用母語級別的手語表達，比在螢幕上敲英文要快得多，也自然得多。

這項工程從最初由聾人工程師 Sam Sepah 發起構想，到後期建立手語顧問委員會推進落地，全程都有聽障社群和專業機構參與研發與測試評估。

為什麼重要

我們認為，SL2T 最大的價值在於它終於承認了手語作為獨立語言的尊嚴，而不是把手語降格為某種輔助輸入的輔助外掛。對於很多母語就是手語的聽障使用者來說，在鍵盤上打英文相當於在腦中先做一次跨語種翻譯，而現在他們終於獲得了和普通人使用語音聽寫同等的互動平權。

從技術路徑來看，端側提取骨骼關鍵點加雲端大模型翻譯的組合非常聰明。它不僅一口氣規避了使用者對全天候攝像頭資料洩露的恐懼，還大幅壓縮了需要上傳的頻寬體積。但挑戰也同樣明顯：純骨骼點在複雜光照、遮擋或快速晃動下的穩定性依然面臨現實考驗，單向的輸入轉譯也還沒能徹底解決雙向即時對話的鴻溝。

行業層面，過去主流的大模型軍備競賽主要卷文本、語音和通用視覺，手語這種兼具複雜多模態感知與機器翻譯屬性的領域長期缺乏頭部廠商投入巨量算力。DeepMind 邁出這一步，無疑會倒逼蘋果等向來注重無障礙生態的巨頭加速推進類似功能，這對於全球數千萬少數群體來說是一場早就該來的進步。