DeepMind 重塑滑鼠指標：指哪問哪，說句「改這裡」Gemini 就能懂

用了半個多世紀的滑鼠箭頭，終於要被大模型改造了。

現在的 AI 工具大多有個通病：你必須離開手頭的網頁或文件，跳進一個單獨的對話方塊裡，把內容複製進去，再費勁敲上一整段指令。

Google DeepMind 宣佈用 Gemini 重新設計滑鼠指標。核心想法很簡單：不要讓人去找 AI，而是讓滑鼠指標看懂你在指什麼。

別寫長指令，指著螢幕說「這個」和「那個」

DeepMind 為這套互動提出了四個原則，說白了就是把打字描述環境的髒活累活扔給模型。

首先是保持心流。使用者不需要把檔案倒騰到新視窗，指著 PDF 就能要求生成摘要並直接貼入郵件，或者懸浮在統計表格上讓它畫成餅圖，甚至框選食譜說一句「配料翻倍」。

其次是把畫素變成可操作的實體。以前電腦只記錄指標座標，現在 Gemini 能理解指標覆蓋的內容。隨手拍的一張潦草便籤能直接變成待辦清單，旅遊影片暫停時指著畫面裡的餐廳，就能跳轉預訂連結。

最接地氣的是簡化說話方式。平時我們和人交流，指著東西說「把這個改掉」或者「把那個挪過來」就行了。有了視覺和語義上下文，使用者指著螢幕上的程式碼塊或照片片段，只要說一句「這是什麼意思」，AI 就知道你具體指的是哪一部分。

已經塞進 Chrome，還要裝上 Googlebook

這些概念不只是實驗室裡的玩具，Google 已經開始往自研產品裡塞了。

從今天起，網頁端 Chrome 裡的 Gemini 已經融入了這套邏輯。瀏覽電商網站時，框選幾件商品就能直接讓它做對比；或者指著客廳照片的空位，讓它生成擺上一張新沙發的預覽圖。

接下來，Google 還計劃在全新的 Googlebook 筆記型電腦上推出 Magic Pointer。Google Labs 的實驗專案 Disco 也會繼續測試相關玩法，普通開發者現在就能去 Google AI Studio 體驗指著圖片或地圖對話的演示。

為什麼重要

我們認為，DeepMind 這一步非常聰明，它切中了大模型落地時最隱秘的一個體驗門檻：割裂感。

過去兩年各家都在做側邊欄和懸浮球，但本質上還是讓使用者把內容餵給模型，互動鏈路很長。把多模態理解直接繫結在滑鼠指標上，等於把輸入方式從「撰寫小作文」降維成了「手勢加口語」，這對非技術使用者非常友好。

不過隱患也顯而易見。滑鼠如果即時截圖並解析指標周圍的畫素與語義，本地算力或雲端呼叫的消耗不會小。更關鍵的是隱私，有多少使用者願意把螢幕上游標掃過的每一寸內容，都即時同步給大模型做上下文分析？

看起來，各家 AI 巨頭的競爭已經從比拼模型引數，打到了作業系統的最底層互動。接下來蘋果如果要在 macOS 上做類似的事情，壓力只會比現在更大。