Chrome 149のGeminiに新機能　画面上の文字や画像を直接指定して質問可能に

ウェブページで気になる図表や専門用語を見かけたとき、スクリーンショットを撮って保存し、AIチャットの入力欄へドラッグする作業に煩わしさを感じたことがある人は多いはずです。Googleはこの手間に終止符を打とうとしています。

同社はChrome 149において、「画面から選択」（Select from screen）と呼ばれる新機能の展開を開始しました。Geminiがブラウザ上でユーザーの見ている画面を直接把握できるようになります。

範囲選択ですぐにプロンプトへ反映

この機能は、ChromeのサイドパネルにあるGeminiの「＋」メニューから呼び出せます。画面上の操作感は内蔵スクリーンショットツールに近く、ページ上の任意のテキストや画像をドラッグして選択する仕組みです。

指定した内容はそのままプロンプトの添付ファイルとして取り込まれるため、「画面左下のグラフについて教えて」といった回りくどい説明を入力する必要がなくなります。Chrome 149向けに順次提供されており、利用にはブラウザの再起動が必要になる場合があります。

同日には開発者向けにも大きな動きがありました。GoogleはGemini 3.5 Flashを通じてコンピュータ操作機能（computer use）の提供を開始しました。専用モデルを追加することなく、AIエージェントがブラウザやデスクトップ、モバイルアプリを横断して画面認識と操作を行い、ソフトウェアテストなどの多段階タスクを自律実行できるようになります。

なぜ重要か

今回の機能追加は、対話型AIにおける最大の課題である「入力の手間」を取り除く賢い一手だと考えられます。日常的にブラウザで大量の文書やコードを読み解くユーザーにとって、画面の一部を直接指定して質問できるメリットは大きく、試す価値は十分にあります。

業界の視点では、Googleが最大の強みであるChromeをフル活用してMicrosoft Copilotなどの競合に対抗する姿勢が鮮明になりました。ブラウザ内での視覚的なコンテキスト把握と、Gemini 3.5 Flashによる自動操作能力を組み合わせることで、単なるチャットボットを超えた作業環境の基盤を押さえにかかっています。

一方で、画面上の情報をAIへ日常的に渡すことに対するプライバシーへの懸念は残ります。ユーザーが明示的に選択した領域以外の個人情報や機密データがどのように保護されるのか、明確な信頼性を提示し続けられるかが普及の鍵になりそうです。