Google、AndroidとChromeにAI支援機能を追加：Geminiが画面全体を解説

視覚障害を持つ人がスクリーンリーダーを使っていて最も困るのは、画像に対して「ギターの写真」とだけ読み上げられ、メーカーや色、背景に何があるのかまでは一切分からない瞬間です。

Google は世界アクセシビリティ啓発デー（GAAD）に合わせ、Android や Chrome、教育支援ツールに Gemini を含む AI 機能を組み込む一連のアップデートを発表しました。

画面上の画像に質問できる TalkBack

Google は昨年、Android の標準スクリーンリーダーである TalkBack に Gemini を導入し、代替テキストがない画像でも AI が概要を読み上げられるようにしました。

今回の更新では、この機能が対話型に進化しました。友人が送ってきたギターの写真に対し、ブランドや本体の色、写り込んでいる他の物について追加で質問できるようになっています。

さらに画面全体の認識にも対応しました。例えばショッピングアプリでセール品を見ている際、商品の素材やクーポンの有無を Gemini に尋ねることができます。

聴覚サポートの面では、音声をリアルタイムで文字起こしする Expressive Captions に感情表現が加わりました。実況の歓声や引き延ばされた返答などを文字の長さで表現し、口笛や咳払いといった環境音もラベル付けされます。こちらは Android 15 以上を対象に、米国、英国、カナダ、豪州の英語環境で展開されます。

スキャン PDF の OCR 化と非定型音声の支援

スマートフォン本体だけでなく、ブラウザや教育環境の障壁を取り除く取り組みも含まれています。

デスクトップ版 Chrome では、スキャンされた PDF に対する自動 OCR 機能が追加されました。これまでスクリーンリーダーでは画像としてしか認識できなかった書類が、一般的なテキストと同様に読み上げ、コピー、検索できるようになります。

Chromebook 向けには、SAT や AP 試験で使われる College Board の試験用アプリ Bluebook で、ChromeVox などの標準アクセシビリティ機能が利用可能になりました。

構音障害などで標準的な発話が難しい人を支援する Project Euphonia も前進しています。GitHub でリポジトリを公開し、世界中の開発者がモデルを訓練できるようにしたほか、アフリカの 10 言語を対象とした音声データセットの開発支援も進めています。

なぜ重要か

私たちは、Google が独立した AI チャットアプリを押し付けるのではなく、既存の OS 標準機能に Gemini を溶け込ませたアプローチを高く評価しています。

日常的にスクリーンリーダーを使うユーザーにとって、画面内の要素についてその場で質問できる体験は、一方的な情報取得を自由な探索へと変える実用的な価値があります。

一方で懸念されるのはマルチモーダルモデル特有のハルシネーションです。商品の材質や割引条件、重要な書類の読み取りで AI が誤認した場合、視覚情報に頼れないユーザーにとってはその影響が健常者以上に深刻になり得ます。

業界全体にとっても、アクセシビリティの競争軸が単なる音声読み上げから、画面全体の文脈を理解する推論能力へと移ったことを示しています。日常を支える機能こそが、最先端モデルの実力を測る最もシビアな検証場になりつつあります。