Google、手話理解モデル「SignGemma」発表　ASLを英語テキストに翻訳

動的な手話の動きをリアルタイムにテキストへ変換することは、マルチモーダルAIにとって長年の難問でした。

Google AI Developersは、手話理解に特化したAIモデル「SignGemma」を年内に公開すると発表しました。大規模な多言語対応モデルと位置づけられており、現時点ではアメリカ手話を英語テキストへ翻訳することに最も長けています。主にろう者や難聴者のデジタルアクセシビリティ向上を目的としており、すでに早期テストの登録受付が始まっています。

Gemmaを手話認識へ応用

名称から察せられる通り、SignGemmaはGoogleのオープンモデル群であるGemmaシリーズの派生と見られます。

手話の理解には、指の細かな形状だけでなく、身体の空間的な位置関係や顔の表情まで同時に読み取る高度な画像処理が求められます。Googleは多言語対応を謳う一方で、まずはASLから英語テキストへの変換を軸に精度を高めている段階です。

なぜ重要か

これまで手話認識AIの多くは学術的なデモや個別研究にとどまっており、実用的な基盤モデルとして提供される例は稀でした。SignGemmaがGemmaファミリー特有の扱いやすさを引き継ぐなら、開発者は手元のデバイス上で低遅延の手話翻訳アプリを構築できるようになります。

アクセシビリティ領域に主要なモデル技術を投入する姿勢は評価できます。一方で、世界各地で手話の体系は大きく異なるため、得意とするASL以外の言語へどれだけ実用レベルの認識精度を広げられるかが今後の課題になりそうです。