GoogleがGemini Liveを刷新：カメラ映像への画面指示やアプリ連携を強化

散らかった工具箱にスマートフォンのカメラを向けたとき、AIが言葉で説明するだけでなく、画面上で使うべき工具を直接ハイライト表示してくれる時代が来ました。

Googleは、対話型音声アシスタント「Gemini Live」の大幅な機能強化を発表しました。カメラ越しの映像に対して画面上で視覚的な指示を出す機能が加わったほか、Googleの標準アプリとの連携強化、声のトーンや抑揚をより豊かに操るモデルアップデートが導入されます。

画面上に答えをハイライト、アプリをまたぐ操作も会話のまま

新たに追加されるオンスクリーンガイダンスは、ユーザーがカメラを向けている対象に対し、画面上に直接マーキングやハイライトを表示する機能です。

たとえば服装に合うスニーカーを2足の中から選んでもらったり、工具箱から必要な道具を見つけ出したりする際に、Geminiが画面上で正解を指し示します。この機能は8月28日に発売されるPixel 10シリーズを皮切りに、同週中に他のAndroid端末へ、数週間後にはiOS向けにも順次提供される予定です。

アプリ連携も会話の流れを止めない形に進化しました。すでに提供が始まったGoogleカレンダー、Keep、Tasksとの連携に加え、近日中にはメッセージ、電話、時計、そしてマップの拡張機能も加わります。

買い物リストの作成はもちろん、地下鉄のルート案内を聞きながら「10分遅れるとメッセージを送って」と割り込んだり、プレゼントの相談からそのまま「お父さんに電話をかけて」と指示したりすることがひとつの会話内で完結します。

感情に合わせた声のトーン変更やキャラクター演技

今後数週間で展開される音声モデルの改良では、イントネーション、リズム、ピッチといった人間の会話の要素が大幅に強化されます。

ストレスフルな話題では穏やかで落ち着いたトーンで返答したり、急いでいるときには早口で話すよう指示したりすることが可能です。シーザーの視点でアクセントを効かせながら古代ローマの歴史を語らせるなど、ドラマチックな語り口も再現できるようになります。

なぜ重要か

日常使いの観点から見ると、画面上に直接ハイライトを表示する機能は、従来の「右から3番目のネジ」といった曖昧な音声指示のストレスを一掃する実用的な進化です。言葉で説明しづらい作業のサポートにおいて、試す価値が非常に高いツールになります。

業界全体から見れば、Googleが持つ最大の強みである標準アプリ群との結合が一段と強まったと言えます。会話の文脈を保ったまま電話やメッセージ、地図へと横断的にアクションを起こせる体験は、単独のチャットAIモデルを提供する競合にとって容易に追いつけない領域です。

一方で、日常のアクションをAIに委ねるほど、聞き間違いや意図の誤認がそのまま誤送信や誤発信につながるリスクを伴います。視覚認識の遅延を抑えつつ、ユーザーが安心して操作を任せられる実行精度をどこまで維持できるかが今後の鍵になりそうです。