跳到正文
IFAI

AI工具

微软在美上线 Copilot Vision:看懂屏幕高亮指路,免费向 Windows 开放

首次发布 传播指数 68

微软在美国向 Windows 10 和 11 用户推出 Copilot Vision,无需 Pro 订阅即可免费使用。用户主动共享应用窗口后,AI 能实时对话并高亮标出点击位置,手把手教你操作。该功能属于实验性的 Copilot Labs,目前仅限美国地区。

微软在美上线 Copilot Vision:看懂屏幕高亮指路,免费向 Windows 开放
图:blogs.windows.com

平时遇到复杂的专业软件卡壳,或者远方的家人打电话问某个设置怎么调,你可能恨不得能直接站在对方屏幕前,拿手指点给他们看。

现在微软把这种「站在你身后指路」的体验,直接搬进了 Windows。

微软在美国向 Windows 10 和 Windows 11 用户全面推送了带有 Highlights 功能的 Copilot Vision。最实在的一点在于门槛:它不再需要 Copilot Pro 付费订阅,所有符合区域条件的用户都能免费使用。这项功能目前依然属于实验性的 Copilot Labs 项目,此外也能在 iOS 和 Android 端使用。

像开会共享屏幕一样,点一下「眼镜」才让 AI 进场

很多人一听到 AI 要看自己的电脑屏幕,第一反应往往是之前陷入争议的 Recall 功能。不过这次的机制完全不同。

Copilot Vision 并不是在后台默默对你的桌面进行连续截图,而是一个彻底的授权模式。它内置在 Windows 的 Copilot 应用中,界面上有一个显眼的「眼镜」图标。

只有当你主动点击这个眼镜,并明确挑选想要分享的特定应用窗口或浏览器标签页时,AI 才会接入。说白了,它的交互逻辑就像在 Microsoft Teams 开会时做屏幕共享,你不点分享,它什么也看不见。

微软团队把它描述成用户的「第二双眼睛」。连接建立后,AI 能够实时看到你所见的内容,并通过语音一边观察一边和你实时对话。不管你是在看照片、浏览网页,还是卡在某个复杂软件的界面里,都可以直接张嘴向它提问。

不止是动嘴解答,还能用 Highlights 在屏幕上画重点

看得懂画面只是第一步,这次更新真正实用的地方在于 Highlights 功能。

以往你用 AI 辅助电脑操作,AI 顶多给你吐出一长串文字步骤,告诉你去第几个菜单找哪一行按钮,找起来依然费劲。而在 Highlights 辅助下,你只要对 Copilot 说一句「教我怎么做」,它就会直接在你的应用窗口内部,把该点击的具体位置高亮圈出来。

比如在 Adobe Photoshop 里修图时不知道某个工具藏在哪,AI 可以一步步高亮引导你点击。又或者你正在对着旅行行程做攻略,它可以一边看你的路线,一边核对行李清单有没有遗漏。

早在今年 4 月微软 50 周年活动期间,部分媒体就对该功能做过初步上手。从实际体验来看,这种直接在原界面打光圈指路的交互,把过去抽象的图文教程变成了实时的互动向导。

为什么重要

我们认为,这项更新是微软在桌面 AI 交互上走得相当聪明的一步。

对普通用户来说,它把大模型的实用价值瞬间拉低到了零学习成本。你不需要学会怎么写提示词,也不用费劲截屏再贴进对话框,只要把应用像给同事看一样指给 AI,它就能手把手带你过关。尤其是对那些面对 Photoshop、专业办公套件感到头疼的新手,这种即时的高亮指引几乎是最好的软件教练。

对行业而言,微软这也算是在 Recall 翻车之后吸取了教训。它不再强推全天候无感记录,而是退回到「用户随时按停、按需开启」的局部共享。这种既保证视觉理解能力,又把控制权还给用户的做法,很可能会成为后续桌面 AI 助手的标准形态。

不过,目前来看它依然存在局限。首批上线仅限美国地区,而且被归入 Copilot Labs,说明微软在性能开销、网络延迟以及高亮指引的准确率上依然偏向谨慎。一旦遇到过于冷门或者 UI 层次极其复杂的软件,AI 会不会点错位置、带偏节奏,还需要更大范围的日常验证。

来源 (4)

  1. [1]
    microsoft.com(在新标签页打开)原文microsoft.com
  2. [2]
  3. [3]
  4. [4]

每日 AI 内容精选