Google DeepMindの手話モデル「SL2T」発表、Pixel 11で手話入力に対応

歩きながら音声入力でメッセージを送ったり検索したりするのは、聴者にとっては当たり前の日常になりました。しかし、手話を使う世界で約7000万人のろう者や難聴者にとって、スマートフォンとの対話は依然として小さな画面上のキーボードを打ち続ける作業に限られていました。

Google DeepMindは、大規模な多言語手話テキスト変換モデル「SL2T」を発表しました。このモデルは研究室を出て、初めて一般向けの商用端末に組み込まれます。Pixel 11のGboardと文字起こし機能に搭載され、まずはアメリカ手話（ASL）から英語への変換に対応し、追加費用なしで提供されます。

映像を捨て、骨格データだけを送る設計

手話は単に音声を身振りで表現したものではなく、独自の文法と語彙を持つ完全な自然言語です。手の動きだけでなく、表情、頭や胴体の動きが同時に意味を伝えるため、従来の音声認識とはまったく異なる技術が必要になります。

DeepMindは50種類以上の手話にまたがる10万時間以上のデータを使ってSL2Tを学習させました。そのうち約4分の1がアメリカ手話です。従来のように中間的な注釈単語を介さず、動作から直接自然な文章へと変換する手法を採用し、FLEURS-ASLベンチマークにおいてゼロショットで70 BLEURTという過去最高スコアを記録しました。

実用化にあたり、プライバシー対策も徹底されています。カメラの生映像をサーバーに送信するのではなく、端末内の軽量モデルを使って手や顔の骨格座標だけを抽出し、元の映像は即座に破棄されます。サーバーに届くのは抽象的な幾何学データのみです。

日常使いを想定し、片手でスマホを持ちながら行う手話や、利用者の約1割を占める左利きの手話、さらには手話をしていない日常動作による誤変換を防ぐ調整も施されています。

アプリやGeminiを手話で直接操作する

この機能により、通常の文字入力が必要なあらゆる場面で手話が使えるようになります。Web検索やメッセージ作成はもちろん、Geminiに対して手話で直接指示を出してタスクを実行させることも可能です。

対面の会話をサポートする文字起こしアプリでも、相手の声を文字で確認しながら、自分は手話で返信を画面に表示させることができるため、スマートフォンの手渡し入力から解放されます。

この開発は、Google社内のろう者エンジニアによる発案から始まり、外部の手話諮問委員会や当事者コミュニティと密接に連携しながら進められました。

なぜ重要か

私たちは、この取り組みが手話を単なる補助機能ではなく、音声入力と同等の主要な入力手段として扱った点を高く評価しています。手話を母語とするユーザーにとって、英語をタイピングすることは頭の中で一度翻訳を挟む負担があり、母語のままスマートフォンを操作できる恩恵は計り知れません。

端末側で骨格ポイントを抽出し、クラウドで言語処理を行うアーキテクチャも非常に現実的です。ユーザーの室内映像がクラウドに保存されるプライバシー不安を解消しつつ、通信データ量を抑えることに成功しています。一方で、暗い場所や逆光、激しい手振れなどで骨格検出が乱れた場合にどの程度精度を維持できるかは今後の検証課題と言えます。

業界全体にとっても、これまで後回しにされがちだった手話処理の領域に巨大な計算資源と製品統合を持ち込んだ意味は大きいです。Appleなどの競合他社に対しても、アクセシビリティの標準水準を引き上げる強い刺激になるはずです。