微軟在 Azure 上線 CUA:用自然語言讓 AI 自己點螢幕、填表單
微軟在 Azure AI Foundry 推出 Responses API 與 Computer-Using Agent(CUA)。CUA 能看懂圖形介面並跨桌面或網頁執行點選與表單操作,Responses API 則將多工具呼叫整合為單次請求。不過針對高風險操作,目前仍強烈建議人工介入確認。
ChatGPT、Cursor、Perplexity 等 AI 工具上了什麼新功能、出了哪些新產品,價格和開放地區有什麼變化。
微軟在 Azure AI Foundry 推出 Responses API 與 Computer-Using Agent(CUA)。CUA 能看懂圖形介面並跨桌面或網頁執行點選與表單操作,Responses API 則將多工具呼叫整合為單次請求。不過針對高風險操作,目前仍強烈建議人工介入確認。
法律 AI 平臺 Harvey 推出智慧體工作流。它能主動向使用者索取上下文並展示「思考狀態」,協助完成訴訟與交易任務。官方盲測顯示,其在文書起草上達到專業律師水平,分析庭審筆錄的表現甚至優於人工。該功能預計 3 月底正式向用戶開放。
Perplexity 推出適用於 PC 的官方 Windows 桌面應用。該客戶端支援語音聽寫、快捷鍵呼叫以及直接使用最新模型,讓使用者不用開啟瀏覽器就能直接呼叫 AI 搜尋。
Adobe 為素材庫 Adobe Stock 推出基於 Firefly 的 AI 功能「Customize」。使用者無需開啟外部工具 Photoshop,就能在網頁端直接擴圖、套用風格或修改比例,並支援檢視修改歷史。該功能現已向付費訂閱使用者開放,使用需消耗生成式點數。
OpenAI 推出用於構建智慧體的新工具套件,核心是全新 Responses API,內建網路搜尋、檔案搜尋和電腦操作工具,並提供 Agents SDK。最值得關注的是,它大幅簡化了多步驟任務的編排,且計劃在 2026 年中徹底取代 Assistants API。
Google 為 Gmail 網頁版推出 Gemini 驅動的「新增到日曆」按鈕。系統會自動識別郵件裡的日程資訊並彈出快捷入口,點選即可在側邊欄確認並建立事件。最值得關注的是日常排日程省了反覆複製貼上;不過目前僅支援英文,且僅限 Workspace 等付費訂閱使用者。
Google 開始在 Google Calendar 中測試 Gemini 側邊欄。加入 Workspace Labs 的使用者可以直接用自然語言查詢日程、查詢特定人員會議或快速建立週期日程。最值得關注的是,日曆管理告別了繁瑣的手動點選,不過目前僅面向測試使用者開放。
Highlight 創始人 Pim de Witte 宣佈推出面向 MCP 伺服器的通用介面。它支援基於螢幕上下文呼叫服務並通過 Tab 鍵生成內容,試圖把類似 Cursor 的互動體驗帶到電腦上的所有應用中。
xAI 確認在 X 上線直接互動功能,使用者在回覆任意帖子時輸入「grok」即可直接向 Grok 提問。這是 xAI 推出 Grok-2 與 Grok-2 mini 後的更新之一。也就是說,刷帖時無需切換應用,就能在評論流裡直接讓 AI 補充背景或解答疑惑。
OpenAI 宣佈 ChatGPT macOS 桌面端支援直接在 IDE 中編輯程式碼。該功能現已向 Plus、Pro 和 Team 使用者開放,免費及企業使用者隨後跟進。寫程式碼不用再來回複製貼上,不過有早期測試者反饋多檔案聯動時偶爾會被批次誤改,還得備好撤銷鍵。
Mistral AI 推出文件理解 API Mistral OCR,能精準提取 PDF 和影像中的公式、圖表及交錯圖文。單節點每分鐘可處理 2000 頁,API 定價每千頁 1 美元,並作為預設能力接入 Le Chat。
Krea AI 宣佈接入 Pika 的多項影片新功能。創作者現在可以直接在影片中圈選修改特定區域、新增 AI 元素、執行幀插值以及混合影像,讓影片生成的區域性微調變得更加精細。
Convergence 推出集中式模版庫 Template Hub,上線了數百個即開即用的智慧體工作流。只要點一下,AI 代理 Proxy 就會自動接手幹活,使用者也能分享自己搭建的模版並追蹤執行次數。這意味著複雜的日常流程可以直接抄作業,不用再從零搭建。
DuckDuckGo 宣佈 Duck.ai 聊天結束測試,並升級搜尋 AI 摘要功能。使用者無需註冊即可免費匿名呼叫 GPT-4o mini、Claude 3 Haiku 等大模型,聊天記錄僅儲存在本地裝置;如果不想被 AI 打擾,還可以在設定中將出現頻率降為 0 徹底關掉。
Anthropic 宣佈改版 Anthropic Console。開發者現在可以直接在控制台內共享並協作編寫提示詞,告別以往靠文件複製貼上的混亂。新版還接入了 Claude 3.7 Sonnet,支援手動控制思考 token 預算,並一鍵生成上線程式碼。
上週,初創公司 Butterfly Effect 推出通用智慧體 Manus 開啟內測,邀請碼在閒魚炒至數千元。官方宣稱其在 GAIA 基準上超越 OpenAI,但實際呼叫 Claude 與千問等多模型協作。早期使用者實測發現,它在訂餐、訂票及寫遊戲時頻頻崩潰、陷入死迴圈,目前仍處於壓力測試階段。
Perplexity 為其 macOS 客戶端上線全新語音模式。使用者按下快捷鍵 ⌘ + ⇧ + M 即可直接開口提問和搜尋,無需手動打字。通過 Mac App Store 下載或更新應用即可體驗。
D-ID 宣佈與微軟合作,將其即時 AI 數字人技術引入 Microsoft Azure。企業和開發者可在 Azure Marketplace 獲取工具,為 Teams 等應用接入具備多語言即時口型同步甚至手語翻譯能力的數字人,改善無障礙溝通與互動體驗。
Google 宣佈將 Gemini 2.0 引入美區 AI Overviews,提升程式設計與數學推理能力,青少年及未登入使用者也可使用。同時,Google 在 Labs 推出實驗性「AI Mode」,利用多步檢索拆解複雜問題並支援多輪追問。目前優先向 Google One AI Premium 訂閱使用者開放測試。
據報道,Apple 在 iOS 18.4 beta 2 的 App Store 中加入了由 Apple Intelligence 支援的評價摘要功能。系統會自動彙總使用者評價的核心觀點並置頂展示,每週至少重新整理一次。目前該功能已在美區面向英文應用開放測試,年內將支援更多語言。