Apple 预览 AI 无障碍功能：用眼神开轮椅，自然语言声控全系统

很多人以为 AI 最先颠覆的会是打工人做 PPT 或写周报，但真正把大模型能力用到极致的，往往是那些身体受限的人群。

Apple 公布了一整套由 Apple Intelligence 驱动的无障碍功能更新，预计今年晚些时候陆续推送。从用眼睛开轮椅，到对着手机屏幕说人话导航，苹果这次把端侧多模态和视觉模型全塞进了辅助功能里。

看到什么说什么，手机能听懂了

视障用户过去用语音控制（Voice Control）手机，体验往往很折磨：界面上每个按钮都要背编号或者死记开发者起的标签名，一旦开发者偷懒没打标签，屏幕读出来就是一堆乱码。

这次 Apple Intelligence 最大的变化，是让语音控制支持自然语言理解。用户不用再去背指令，只要看到什么就说什么，比如直接喊「点那个紫色文件夹」或者「打开最佳餐厅指南」，系统就能根据视觉界面自己找位置。

旁白（VoiceOver）和放大器（Magnifier）也接入了多模态识别。按一下 iPhone 的操作按钮，摄像头对准现实场景，就能问它画面里有什么，甚至还能接着追问细节。无论是账单、病例还是路边的标志，都能逐层展开描述。

甚至在阅读复杂学术论文时，辅助阅读器能自动切分多栏排版和图表，直接生成摘要，并保留原来的字体与排版进行多语言翻译。

用眼睛开轮椅，给所有视频配上字幕

针对重度肢体障碍者，苹果这次把 Apple Vision Pro 变成了辅助驾驶工具。利用头显自带的高精度眼动追踪系统，用户只需要转动眼球，就能操控兼容的电动轮椅。

这项功能首批与美国的 Tolt 和 LUCI 驱动系统合作，支持蓝牙与有线连接。相比传统眼动仪，Vision Pro 的优势在于不同光线环境下都能稳定工作，而且不需要用户频繁重新校准视角。

针对听障人群，苹果推出了全平台端侧实时字幕生成。以往亲友随手发来的生活视频、自己录的短片大多没有字幕。现在 iPhone、iPad、Mac、Apple TV 和 Vision Pro 都能在本地实时将对话语音转成文字，整个过程完全在设备端完成，不走云端服务器。

此外，索尼的 Access 无障碍手柄也正式打通了苹果生态，支持按键自定义和双控制器组合；FaceTime 还新增了让第三方手语翻译员实时加入视频通话的接口。

为什么重要

我们认为，苹果在无障碍功能上的这一步，其实揭示了多模态 AI 真正成熟的衡量标准：不再是纸面跑分，而是解决极端场景下的鲁棒性问题。

让 AI 认出「紫色文件夹」看起来不起眼，但它意味着系统必须实时结合屏幕像素、上下文语义和语音意图做推理。这不仅能帮到残障人士，其实也在为下一代完全自动化的系统级 AI 代理探路。

把眼动追踪拿去开轮椅，更是给昂贵且小众的 Vision Pro 找到了不可替代的刚需场景。对肌萎缩侧索硬化症（ALS）等无法使用摇杆的患者来说，这套方案直接省去了昂贵且笨重的专用眼动设备。

不过隐患同样存在。无论是用眼睛开轮椅还是靠多模态 AI 识别路况，一旦端侧模型出现幻觉或识别延迟，代价都可能是人身安全。苹果自己在免责声明里也特意强调，不应将这些工具用于高风险导航或医疗诊断。

但不管怎么说，把隐私保护做在端侧、用自然语言拉平开发者的适配门槛，这是目前大模型落地最体面、也最见功底的方向。