跳到正文
IFAI

AI工具

Apple 升级 Apple Intelligence:支持通话实时翻译与屏幕视觉搜索

首次发布 传播指数 42

Apple 宣布随 iOS 26 等系统推出新版 Apple Intelligence 功能。更新带来跨应用与通话的端侧实时翻译,屏幕视觉智能支持圈选搜索并接入 ChatGPT,同时上线语音健身助手 Workout Buddy,并向开发者开放端侧基础模型接口。

Apple 升级 Apple Intelligence:支持通话实时翻译与屏幕视觉搜索
图:apple.com

如果你戴着耳机和外国人面对面说话,对方刚开口,耳机里的降噪功能就把对方的声音压低,接着直接在耳边替你同声传译。这种以前只在科幻片里出现的桥段,现在被苹果做进了系统里。

苹果宣布正式上线一批新的 Apple Intelligence 功能。这次更新覆盖了 iOS 26、iPadOS 26、macOS Tahoe 26、watchOS 26 和 visionOS 26,所有支持 Apple Intelligence 的设备都可以免费升级。

屏幕搜索、实时翻译与随身私教

这次更新里动静最大的,是打通多个场景的实时翻译。

在信息里打字,系统会自动翻译成对方的语言发出。打 FaceTime 视频时能看到实时翻译字幕,同时还能听到对方的原声。打电话时,系统则会直接把翻译内容实时朗读出来。

在线下交流时,只要戴上 AirPods Pro 3,同时按下两只耳机的耳机柄,或者按 iPhone 操作按钮、呼叫 Siri,就能开启面对面同传。主动降噪会主动调低说话人的原声,方便你听清翻译内容。这项功能目前支持部分语言,年底前会加入简体中文、繁体中文、日文、韩文和意大利文。

屏幕视觉智能也迎来了升级。用户只要按下平时的截屏组合键,圈选屏幕上的鞋子等物品,就能直接去 Google、eBay、Poshmark 或 Etsy 搜同款,也可以直接调用 ChatGPT 提问。看到活动传单,点一下就能把日程记进日历。

苹果还拿出了一个叫 Workout Buddy 的功能。它就像个懂你的私教,在本地分析心率、配速、闭环进度等历史数据,然后用基于 Fitness+ 教练声音训练的动态生成语音,在运动中途实时给你打气。目前它首发支持英语,需要 Apple Watch 搭配蓝牙耳机和支持的 iPhone 使用。

把端侧模型免费塞给开发者

更有意思的动作在底层。

苹果正式开放了 Apple Intelligence 核心的端侧基础大模型给所有开发者。这个模型完全离线运行,深度集成在 Swift 里,而且苹果不向开发者收取任何模型推理费用。

已经有第三方 App 尝到了甜头。比如待办应用 Streaks 能自动分类任务,CARROT Weather 靠它提供免费且不限次数的毒舌天气问答,剪辑软件 Detail 则能把文字大纲一键转成提词器脚本。

同时,快捷指令也支持直接挂载端侧模型或私有云计算。用户可以自己搭建自动流,比如把录音转写文本和手写笔记做对比,或者从 PDF 发票里提取数据并自动填进表格。

为什么重要

我们认为,苹果这次最聪明的做法,不是做了几个看似花哨的 AI 功能,而是把端侧算力包装成了系统底层基建,还给开发者完全免费用。

对于普通用户来说,面对面翻译和屏幕搜索是真正高频的痛点。尤其是用快捷键圈选屏幕搜商品或查日程,大幅缩短了过去截屏、裁剪、换应用再搜索的繁琐步骤。如果你手头有支持的设备,光是冲着这两项体验就值得马上升级。

对行业而言,端侧模型对开发者免费,直接把很多独立开发者的 AI 调用成本降到了零。这意味着创业团队不再需要为轻量文本总结、任务分类去给 OpenAI 交 API 账单,安卓生态和第三方 AI 服务商接下来不得不面对这种系统级降维打击。

不过隐患依然存在。很多深度的图像生成和屏幕问答依然要甩给 ChatGPT,这说明苹果自研云端模型的长板依然不够硬。再加上多语言拓展节奏依然较慢,部分语言的完整体验还得等到年底甚至更晚。

来源 (1)

  1. [1]
    apple.com(在新标签页打开)原文apple.com

每日 AI 内容精选