DeepMind 发布手语大模型 SL2T：Pixel 11 支持手语直接打字

听力正常的人早就习惯了对着手机随口发语音转文字，但全世界超过七千万依靠手语交流的聋人与重听群体，在面对智能手机时却几乎只能一个字母一个字母地戳键盘。过去那些试图做手语识别的方案，要么停留在实验室里摆弄昂贵的数据手套，要么粗暴地把手语当成用手比划出来的英语单词。

Google DeepMind 刚刚正式发布了手语转文本模型 SL2T，并且第一次把它塞进了消费级手机里。作为首发阵地，Pixel 11 上的 Gboard 输入法和即时转录功能已经集成了这项能力，首期支持美式手语到英语的实时转译，免费向用户提供。

扔掉视频画面，只算骨骼坐标

手语并不是发音语言的肢体映射，它拥有完全独立于英语的完整语法体系，而且极度依赖双手、手臂、躯干、头部以及面部表情的同步配合。早期研究习惯用中间标注词来做过渡，但这种方式会直接丢掉大量空间结构和微表情信息。

DeepMind 这次训练 SL2T 收集了超过十万小时的数据，覆盖五十多种手语，其中美式手语占了大约四分之一。模型直接跳过了标注词阶段，学会从连续的动作序列直接翻译成地道文本，在权威评测基准 FLEURS-ASL 上拿下了 70 BLEURT 的零样本得分。

更巧妙的地方在于隐私处理。手机摄像头如果一直开着录制房间和用户的画面，隐私风险极大。DeepMind 的做法是在设备端用轻量级的 MediaPipe Holistic 先捕捉人体的骨骼关键点坐标，随后立刻把原始视频帧直接丢弃，最后传去云端做文本生成的只有一串抽象的几何位置数据。

为了让它在日常生活中真的可用，团队还专门针对单手打手语、非手语动作防误触发，以及大约占一成比例的左撇子手势做了定向优化。

像普通人发语音一样给手机打手语

在具体的系统体验上，这套手语听写覆盖了以往需要调出键盘的所有场景。聋人用户现在可以直接对着前置摄像头打美式手语来搜索网页、撰写即时消息，或者向 Gemini 助手下发各种日常任务指令。

在面对面的沟通场景中，即时转录功能允许用户一边看着对方的语音转写，一边自己打手语输出英文字符串，省去了来回把手机递给对方打字的麻烦。据参与前期测试的用户反馈，用母语级别的手语表达，比在屏幕上敲英文要快得多，也自然得多。

这项工程从最初由聋人工程师 Sam Sepah 发起构想，到后期建立手语顾问委员会推进落地，全程都有听障社区和专业机构参与研发与测试评估。

为什么重要

我们认为，SL2T 最大的价值在于它终于承认了手语作为独立语言的尊严，而不是把手语降格为某种辅助输入的辅助插件。对于很多母语就是手语的听障用户来说，在键盘上打英文相当于在脑中先做一次跨语种翻译，而现在他们终于获得了和普通人使用语音听写同等的交互平权。

从技术路径来看，端侧提取骨骼关键点加云端大模型翻译的组合非常聪明。它不仅一口气规避了用户对全天候摄像头数据泄露的恐惧，还大幅压缩了需要上传的带宽体积。但挑战也同样明显：纯骨骼点在复杂光照、遮挡或快速晃动下的稳定性依然面临现实考验，单向的输入转译也还没能彻底解决双向即时对话的鸿沟。

行业层面，过去主流的大模型军备竞赛主要卷文本、语音和通用视觉，手语这种兼具复杂多模态感知与机器翻译属性的领域长期缺乏头部厂商投入巨量算力。DeepMind 迈出这一步，无疑会倒逼苹果等向来注重无障碍生态的巨头加速推进类似功能，这对于全球数千万少数群体来说是一场早就该来的进步。