DeepMindがマウスポインタをGeminiで再定義、「ここ直して」で画面操作

半世紀以上にわたり、マウスカーソルの基本構造はほとんど変わっていません。一方で現在のAIを使うには、作業中のウィンドウを離れ、別のチャット画面にテキストや画像を貼り付ける手間が発生していました。

Google DeepMindは5月12日、Geminiを活用してマウスカーソルを再定義する実験的な取り組みを発表しました。画面上のコンテンツを指し示し、「これを直して」「あれを動かして」と話しかけるだけで操作できる仕組みです。

長いプロンプトをやめ、「これ」「あれ」で伝える

DeepMindは、ユーザーが文脈を説明する負担をコンピューター側に肩代わりさせるため、4つの原則を掲げています。

まずは作業の中断をなくすことです。PDFを指して要約をメールにそのまま貼り付けたり、統計表にカーソルを合わせて円グラフを作らせたり、レシピを選択して「材料を倍にして」と指示したりできます。

さらに、日常の会話のように「これ」「あれ」で指示できるのが特徴です。カーソル周辺の視覚的・意味的な文脈をGeminiが把握しているため、コードの一部を指して「これどういう意味？」と聞くだけで意図が通じます。

画面上のピクセルをそのまま操作可能なデータに変える機能も備えます。走り書きのメモの写真がそのままToDoリストに変わり、動画を一時停止して映っているレストランを指せば予約リンクを取得できます。

Chromeから導入開始、Googlebookへも展開

この機能は単なる研究にとどまらず、すでに製品への統合が始まっています。

本日からChrome向けのGemini機能にこの原則が組み込まれ、Webページ上の複数の商品を選んで比較したり、部屋の画像の一部を指してソファを配置した様子を生成したりできるようになりました。

さらに同社は、新型ノートPC「Googlebook」に向けて「Magic Pointer」として展開する計画です。Google Labsの実験プロジェクト「Disco」などでも検証が続けられるほか、Google AI Studioでは実際にポインタを使ったデモを試すことができます。

なぜ重要か

DeepMindのこの試みは、現在の生成AIが抱える「作業の中断」という最大の弱点を突いた賢いアプローチだと私たちは考えています。

サイドバーや別タブを開かせるUIは、ユーザーの手を止めさせてしまいます。マウスカーソルという最も使い慣れた入力装置に視覚理解を持たせることで、プロンプトを入力する敷居を一気に下げることができます。

一方で課題となるのはプライバシーと処理負荷です。カーソル周辺の画面情報を常にモデルへ渡すことに対するユーザーの心理的抵抗や、リアルタイムに画面を解釈し続ける負荷をどう抑えるかは検証が必要です。

とはいえ、AIの主戦場がチャットボットからOSレベルの自然な入力UIへと移りつつあることは明白であり、競合他社も追随を迫られることになりそうです。