Google、AndroidのAI機能を強化　画面囲みで宿題解説や端末内詐欺検出も

銀行の担当者を名乗る人物から不審な送金を急かされた瞬間、スマートフォンの画面に詐欺の疑いを示す警告が表示される。そんな機能が現実になろうとしています。

Googleは5月14日の「Google I/O 2024」にて、AndroidのOS中核にAIをより深く統合するアップデートを発表しました。端末上で動作するモデル「Gemini Nano」のマルチモーダル化と、画面状況を理解する機能の強化が柱です。

宿題サポートと画面コンテキストの把握

まず「かこって検索（Circle to Search）」が学習支援に対応しました。教育向けモデル「LearnLM」を活用し、物理や数学の文章題を囲むと、単に答えを提示するだけでなく段階的な解き方を解説します。年内には数式や図表、グラフなどの複雑な問題にも対応する予定です。この機能はすでに1億台以上の端末で利用可能で、年内には2億台への倍増を目指しています。

さらにGeminiのオーバーレイ表示が強化され、現在開いているアプリの内容を理解できるようになります。YouTube動画の視聴中に「Ask this video」をタップして特定情報を探したり、Gemini Advancedユーザーなら画面上のPDFに対して「Ask this PDF」で質問したりできます。生成した画像をGmailやGoogle メッセージに直接ドラッグ＆ドロップすることも可能です。

Gemini Nanoがマルチモーダル化、通話詐欺も検知

オンデバイスAI「Gemini Nano」は年内後半にPixelからマルチモーダルに対応し、テキストだけでなく視覚、音声、話し言葉を端末上で直接処理できるようになります。

この進化は視覚障害者向け機能「TalkBack」に活用されます。ユーザーはラベルのない画像に1日平均90回遭遇しているとされ、Gemini Nanoが写真の詳細や通販サイトの服の形状などをオフラインかつ高速に説明します。

また、年間1兆ドル以上にのぼる詐欺被害への対策として、通話中の詐欺パターン検知機能もテスト中です。銀行員を名乗る人物が暗証番号やギフトカードでの支払いを要求した際、Gemini Nanoが会話を解析してリアルタイムで警告を出します。処理は完全に端末内で完結し、オプトイン（事前同意）方式で提供されます。

なぜ重要か

ユーザーにとって、プロンプトを入力することなく日常の通話や動画視聴の中でAIの恩恵を受けられる点は大きな前進です。特に通話詐欺検知は、高齢者などの被害を防ぐ実用的なセーフティネットになり得ます。

業界の視点では、OSを持つGoogleならではの強みが発揮されています。通話音声の監視のような極めてプライバシーの高い領域は、クラウド処理では反発を招くため、端末内で完結するオンデバイスAIでしか成立しません。

アプローチとしては非常に合理的ですが、誤検知への対策が最大の課題です。正当な金銭のやり取りまで詐欺と判定してしまえば、ユーザーはすぐに機能をオフにしてしまいます。端末内の限られたリソースでどこまで検知精度を高められるかが普及の鍵を握ります。