NVIDIAら、手話学習プラットフォーム「Signs」公開　WebカメラのAI解析で即座に判定

アメリカ手話（ASL）は米国で英語、スペイン語に次いで3番目に広く使われている言語です。しかし、現在の生成AIブームにおいて手話データは極端に不足しており、学習リソースの格差が広がっていました。

この課題を解消すべく、NVIDIA、全米ろう児協会（ASDC）、クリエイティブスタジオのHello Mondayがタッグを組み、手話学習とAI開発を支援する対話型Webプラットフォーム「Signs」を公開しました。

Webカメラと3Dアバターで手話を学ぶ

Signsはブラウザから直接利用できる教育ツールです。

画面上の3Dアバターがお手本の手話動作を示し、ユーザーがWebカメラの前で真似をすると、AIが手の動きや指の位置を解析してリアルタイムにフィードバックを返します。まずは日常会話で役立つ100語の基本手話から練習できます。

開発を手掛けたHello Mondayは、過去にも指文字学習アプリ「Fingerspelling.xyz」をASDCと共同制作した実績を持ちます。

Signsのもうひとつの重要な役割は、データ収集プラットフォームとしての側面です。利用者は自ら特定の単語を手話で演じる動画を提供し、データセット構築に協力できます。

NVIDIAは1000語を網羅する40万件の動画クリップの収集を目指しています。精度を担保するため、投稿された全データは熟練の手話話者やプロの通訳者が検証します。

完成したデータセットは一般に無償公開される予定で、手話対応のアバターやビデオ会議向けアシスタントなど、アクセシビリティ技術の開発に幅広く活用される見込みです。

手の動きだけでは手話にならない

ただし、手話の完全な理解にはまだ技術的な壁があります。

実際のアメリカ手話は、手の形だけでなく、眉の上げ下げや頭の傾きといった顔の表情（非手指信号）が文法やニュアンスの決定に極めて大きな役割を果たします。

現在のSignsがトラッキングしているのは手と指の位置情報に限られています。開発チームは将来的なアップデートに向けて、表情や頭部動作の解析技術、さらには地域方言やスラングへの対応も研究中だと説明しています。

また、ロチェスター工科大学のアクセシビリティ・インクルージョン研究センター（CAIR）とも連携し、ろう者や難聴者の実際の使いやすさを評価・改善しています。

なぜ重要か

ASDCによると、ろう児の多くは聴者の親から生まれます。家庭内で早期に手話での意思疎通を始められるかどうかは子どもの発達に直結しますが、多忙な親が教室に通うのは容易ではありません。自宅のPCで親子一緒にゲーム感覚で基礎手話を学べる利便性は非常に高いといえます。

業界全体にとっても、手話という空間的・動的な映像データの不足は長年のボトルネックでした。NVIDIAが40万件規模の検証済みオープンデータセットを提供する意味は大きく、アクセシビリティ分野のAI開発を一段押し上げる可能性があります。

良質な教育体験を提供しながらユーザーから自然な学習データを集めるという仕組みは、極めて賢いアプローチだと考えられます。課題はやはり表情データの統合です。手のトラッキングだけで完結させてしまうと誤解を生むリスクがあるため、今後の顔認識技術の実装スピードが実用化の鍵を握るはずです。