Apple 預覽 AI 無障礙功能：用眼神開輪椅，自然語言聲控全系統

很多人以為 AI 最先顛覆的會是打工人做 PPT 或寫週報，但真正把大模型能力用到極致的，往往是那些身體受限的人群。

Apple 公佈了一整套由 Apple Intelligence 驅動的無障礙功能更新，預計今年晚些時候陸續推送。從用眼睛開輪椅，到對著手機螢幕說人話導航，蘋果這次把端側多模態和視覺模型全塞進了輔助功能裡。

看到什麼說什麼，手機能聽懂了

視障使用者過去用語音控制（Voice Control）手機，體驗往往很折磨：介面上每個按鈕都要背編號或者死記開發者起的標籤名，一旦開發者偷懶沒打標籤，螢幕讀出來就是一堆亂碼。

這次 Apple Intelligence 最大的變化，是讓語音控制支援自然語言理解。使用者不用再去背指令，只要看到什麼就說什麼，比如直接喊「點那個紫色資料夾」或者「開啟最佳餐廳指南」，系統就能根據視覺介面自己找位置。

旁白（VoiceOver）和放大器（Magnifier）也接入了多模態識別。按一下 iPhone 的操作按鈕，攝像頭對準現實場景，就能問它畫面裡有什麼，甚至還能接著追問細節。無論是賬單、病例還是路邊的標誌，都能逐層展開描述。

甚至在閱讀複雜學術論文時，輔助閱讀器能自動切分多欄排版和圖表，直接生成摘要，並保留原來的字型與排版進行多語言翻譯。

用眼睛開輪椅，給所有影片配上字幕

針對重度肢體障礙者，蘋果這次把 Apple Vision Pro 變成了輔助駕駛工具。利用頭顯自帶的高精度眼動追蹤系統，使用者只需要轉動眼球，就能操控相容的電動輪椅。

這項功能首批與美國的 Tolt 和 LUCI 驅動系統合作，支援藍牙與有線連線。相比傳統眼動儀，Vision Pro 的優勢在於不同光線環境下都能穩定工作，而且不需要使用者頻繁重新校準視角。

針對聽障人群，蘋果推出了全平臺端側即時字幕生成。以往親友隨手發來的生活影片、自己錄的短片大多沒有字幕。現在 iPhone、iPad、Mac、Apple TV 和 Vision Pro 都能在本地即時將對話語音轉成文字，整個過程完全在裝置端完成，不走雲端伺服器。

此外，索尼的 Access 無障礙手柄也正式打通了蘋果生態，支援按鍵自定義和雙控制器組合；FaceTime 還新增了讓第三方手語翻譯員即時加入視訊通話的介面。

為什麼重要

我們認為，蘋果在無障礙功能上的這一步，其實揭示了多模態 AI 真正成熟的衡量標準：不再是紙面跑分，而是解決極端場景下的魯棒性問題。

讓 AI 認出「紫色資料夾」看起來不起眼，但它意味著系統必須即時結合螢幕畫素、上下文語義和語音意圖做推理。這不僅能幫到殘障人士，其實也在為下一代完全自動化的系統級 AI 代理探路。

把眼動追蹤拿去開輪椅，更是給昂貴且小眾的 Vision Pro 找到了不可替代的剛需場景。對肌萎縮側索硬化症（ALS）等無法使用搖桿的患者來說，這套方案直接省去了昂貴且笨重的專用眼動裝置。

不過隱患同樣存在。無論是用眼睛開輪椅還是靠多模態 AI 識別路況，一旦端側模型出現幻覺或識別延遲，代價都可能是人身安全。蘋果自己在免責聲明裡也特意強調，不應將這些工具用於高風險導航或醫療診斷。

但不管怎麼說，把隱私保護做在端側、用自然語言拉平開發者的適配門檻，這是目前大模型落地最體面、也最見功底的方向。