跳到正文
IFAI

AI工具

Apple 升級 Apple Intelligence:支援通話即時翻譯與螢幕視覺搜尋

首次發布 傳播指數 42

Apple 宣佈隨 iOS 26 等系統推出新版 Apple Intelligence 功能。更新帶來跨應用與通話的端側即時翻譯,螢幕視覺智慧支援圈選搜尋並接入 ChatGPT,同時上線語音健身助手 Workout Buddy,並向開發者開放端側基礎模型介面。

Apple 升級 Apple Intelligence:支援通話即時翻譯與螢幕視覺搜尋
圖:apple.com

如果你戴著耳機和外國人面對面說話,對方剛開口,耳機裡的降噪功能就把對方的聲音壓低,接著直接在耳邊替你同聲傳譯。這種以前只在科幻片裡出現的橋段,現在被蘋果做進了系統裡。

蘋果宣佈正式上線一批新的 Apple Intelligence 功能。這次更新覆蓋了 iOS 26、iPadOS 26、macOS Tahoe 26、watchOS 26 和 visionOS 26,所有支援 Apple Intelligence 的裝置都可以免費升級。

螢幕搜尋、即時翻譯與隨身私教

這次更新裡動靜最大的,是打通多個場景的即時翻譯。

在資訊裡打字,系統會自動翻譯成對方的語言發出。打 FaceTime 影片時能看到即時翻譯字幕,同時還能聽到對方的原聲。打電話時,系統則會直接把翻譯內容即時朗讀出來。

線上下交流時,只要戴上 AirPods Pro 3,同時按下兩隻耳機的耳機柄,或者按 iPhone 操作按鈕、呼叫 Siri,就能開啟面對面同傳。主動降噪會主動調低說話人的原聲,方便你聽清翻譯內容。這項功能目前支援部分語言,年底前會加入簡體中文、繁體中文、日文、韓文和義大利文。

螢幕視覺智慧也迎來了升級。使用者只要按下平時的截圖組合鍵,圈選螢幕上的鞋子等物品,就能直接去 Google、eBay、Poshmark 或 Etsy 搜同款,也可以直接呼叫 ChatGPT 提問。看到活動傳單,點一下就能把日程記進日曆。

蘋果還拿出了一個叫 Workout Buddy 的功能。它就像個懂你的私教,在本地分析心率、配速、閉環進度等歷史資料,然後用基於 Fitness+ 教練聲音訓練的動態生成語音,在運動中途即時給你打氣。目前它首發支援英語,需要 Apple Watch 搭配藍牙耳機和支援的 iPhone 使用。

把端側模型免費塞給開發者

更有意思的動作在底層。

蘋果正式開放了 Apple Intelligence 核心的端側基礎大模型給所有開發者。這個模型完全離線執行,深度整合在 Swift 裡,而且蘋果不向開發者收取任何模型推理費用。

已經有第三方 App 嚐到了甜頭。比如待辦應用 Streaks 能自動分類任務,CARROT Weather 靠它提供免費且不限次數的毒舌天氣問答,剪輯軟體 Detail 則能把文字大綱一鍵轉成提詞器指令碼。

同時,快捷指令也支援直接掛載端側模型或私有云計算。使用者可以自己搭建自動流,比如把錄音轉寫文本和手寫筆記做對比,或者從 PDF 發票裡提取資料並自動填進表格。

為什麼重要

我們認為,蘋果這次最聰明的做法,不是做了幾個看似花哨的 AI 功能,而是把端側算力包裝成了系統底層基建,還給開發者完全免費用。

對於普通使用者來說,面對面翻譯和螢幕搜尋是真正高頻的痛點。尤其是用快捷鍵圈選螢幕搜商品或查日程,大幅縮短了過去截圖、裁剪、換應用再搜尋的繁瑣步驟。如果你手頭有支援的裝置,光是衝著這兩項體驗就值得馬上升級。

對行業而言,端側模型對開發者免費,直接把很多獨立開發者的 AI 呼叫成本降到了零。這意味著創業團隊不再需要為輕量文本總結、任務分類去給 OpenAI 交 API 賬單,安卓生態和第三方 AI 服務商接下來不得不面對這種系統級降維打擊。

不過隱患依然存在。很多深度的影像生成和螢幕問答依然要甩給 ChatGPT,這說明蘋果自研雲端模型的長板依然不夠硬。再加上多語言拓展節奏依然較慢,部分語言的完整體驗還得等到年底甚至更晚。

來源 (1)

  1. [1]
    apple.com(在新分頁開啟)原文apple.com

每日 AI 內容精選