微軟在美上線 Copilot Vision:看懂螢幕高亮指路,免費向 Windows 開放
微軟在美國向 Windows 10 和 11 使用者推出 Copilot Vision,無需 Pro 訂閱即可免費使用。使用者主動共享應用視窗後,AI 能即時對話並高亮標出點選位置,手把手教你操作。該功能屬於實驗性的 Copilot Labs,目前僅限美國地區。

平時遇到複雜的專業軟體卡殼,或者遠方的家人打電話問某個設定怎麼調,你可能恨不得能直接站在對方螢幕前,拿手指點給他們看。
現在微軟把這種「站在你身後指路」的體驗,直接搬進了 Windows。
微軟在美國向 Windows 10 和 Windows 11 使用者全面推送了帶有 Highlights 功能的 Copilot Vision。最實在的一點在於門檻:它不再需要 Copilot Pro 付費訂閱,所有符合區域條件的使用者都能免費使用。這項功能目前依然屬於實驗性的 Copilot Labs 專案,此外也能在 iOS 和 Android 端使用。
像開會共享螢幕一樣,點一下「眼鏡」才讓 AI 進場
很多人一聽到 AI 要看自己的電腦螢幕,第一反應往往是之前陷入爭議的 Recall 功能。不過這次的機制完全不同。
Copilot Vision 並不是在後臺默默對你的桌面進行連續截圖,而是一個徹底的授權模式。它內建在 Windows 的 Copilot 應用中,介面上有一個顯眼的「眼鏡」圖示。
只有當你主動點選這個眼鏡,並明確挑選想要分享的特定應用視窗或瀏覽器標籤頁時,AI 才會接入。說白了,它的互動邏輯就像在 Microsoft Teams 開會時做螢幕共享,你不點分享,它什麼也看不見。
微軟團隊把它描述成使用者的「第二雙眼睛」。連線建立後,AI 能夠即時看到你所見的內容,並通過語音一邊觀察一邊和你即時對話。不管你是在看照片、瀏覽網頁,還是卡在某個複雜軟體的介面裡,都可以直接張嘴向它提問。
不止是動嘴解答,還能用 Highlights 在螢幕上畫重點
看得懂畫面只是第一步,這次更新真正實用的地方在於 Highlights 功能。
以往你用 AI 輔助電腦操作,AI 頂多給你吐出一長串文字步驟,告訴你去第幾個選單找哪一行按鈕,找起來依然費勁。而在 Highlights 輔助下,你只要對 Copilot 說一句「教我怎麼做」,它就會直接在你的應用視窗內部,把該點選的具體位置高亮圈出來。
比如在 Adobe Photoshop 裡修圖時不知道某個工具藏在哪,AI 可以一步步高亮引導你點選。又或者你正在對著旅行行程做攻略,它可以一邊看你的路線,一邊核對行李清單有沒有遺漏。
早在今年 4 月微軟 50 週年活動期間,部分媒體就對該功能做過初步上手。從實際體驗來看,這種直接在原介面打光圈指路的互動,把過去抽象的圖文教程變成了即時的互動向導。
為什麼重要
我們認為,這項更新是微軟在桌面 AI 互動上走得相當聰明的一步。
對普通使用者來說,它把大模型的實用價值瞬間拉低到了零學習成本。你不需要學會怎麼寫提示詞,也不用費勁截圖再貼進對話方塊,只要把應用像給同事看一樣指給 AI,它就能手把手帶你過關。尤其是對那些面對 Photoshop、專業辦公套件感到頭疼的新手,這種即時的高亮指引幾乎是最好的軟體教練。
對行業而言,微軟這也算是在 Recall 翻車之後吸取了教訓。它不再強推全天候無感記錄,而是退回到「使用者隨時按停、按需開啟」的區域性共享。這種既保證視覺理解能力,又把控制權還給使用者的做法,很可能會成為後續桌面 AI 助手的標準形態。
不過,目前來看它依然存在侷限。首批上線僅限美國地區,而且被歸入 Copilot Labs,說明微軟在效能開銷、網路延遲以及高亮指引的準確率上依然偏向謹慎。一旦遇到過於冷門或者 UI 層次極其複雜的軟體,AI 會不會點錯位置、帶偏節奏,還需要更大範圍的日常驗證。
來源 (4)
- microsoft.com(在新分頁開啟)原文microsoft.com
- theverge.com(在新分頁開啟)報導theverge.com
- blogs.windows.com(在新分頁開啟)報導blogs.windows.com
- @windowsblog(在新分頁開啟)討論x.com