DeepMind 重塑鼠标指针：指哪问哪，说句「改这里」Gemini 就能懂

用了半个多世纪的鼠标箭头，终于要被大模型改造了。

现在的 AI 工具大多有个通病：你必须离开手头的网页或文档，跳进一个单独的对话框里，把内容复制进去，再费劲敲上一整段指令。

Google DeepMind 宣布用 Gemini 重新设计鼠标指针。核心想法很简单：不要让人去找 AI，而是让鼠标指针看懂你在指什么。

别写长指令，指着屏幕说「这个」和「那个」

DeepMind 为这套交互提出了四个原则，说白了就是把打字描述环境的脏活累活扔给模型。

首先是保持心流。用户不需要把文件倒腾到新窗口，指着 PDF 就能要求生成摘要并直接贴入邮件，或者悬浮在统计表格上让它画成饼图，甚至框选食谱说一句「配料翻倍」。

其次是把像素变成可操作的实体。以前电脑只记录指针坐标，现在 Gemini 能理解指针覆盖的内容。随手拍的一张潦草便签能直接变成待办清单，旅游视频暂停时指着画面里的餐厅，就能跳转预订链接。

最接地气的是简化说话方式。平时我们和人交流，指着东西说「把这个改掉」或者「把那个挪过来」就行了。有了视觉和语义上下文，用户指着屏幕上的代码块或照片片段，只要说一句「这是什么意思」，AI 就知道你具体指的是哪一部分。

已经塞进 Chrome，还要装上 Googlebook

这些概念不只是实验室里的玩具，Google 已经开始往自研产品里塞了。

从今天起，网页端 Chrome 里的 Gemini 已经融入了这套逻辑。浏览电商网站时，框选几件商品就能直接让它做对比；或者指着客厅照片的空位，让它生成摆上一张新沙发的预览图。

接下来，Google 还计划在全新的 Googlebook 笔记本电脑上推出 Magic Pointer。Google Labs 的实验项目 Disco 也会继续测试相关玩法，普通开发者现在就能去 Google AI Studio 体验指着图片或地图对话的演示。

为什么重要

我们认为，DeepMind 这一步非常聪明，它切中了大模型落地时最隐秘的一个体验门槛：割裂感。

过去两年各家都在做侧边栏和悬浮球，但本质上还是让用户把内容喂给模型，交互链路很长。把多模态理解直接绑定在鼠标指针上，等于把输入方式从「撰写小作文」降维成了「手势加口语」，这对非技术用户非常友好。

不过隐患也显而易见。鼠标如果实时截屏并解析指针周围的像素与语义，本地算力或云端调用的消耗不会小。更关键的是隐私，有多少用户愿意把屏幕上光标扫过的每一寸内容，都实时同步给大模型做上下文分析？

看起来，各家 AI 巨头的竞争已经从比拼模型参数，打到了操作系统的最底层交互。接下来苹果如果要在 macOS 上做类似的事情，压力只会比现在更大。