Google 升级无障碍功能：Gemini 能解答全屏内容，字幕还能听出情绪

视障朋友用读屏软件听图片描述时，最头疼的往往是系统只冷冰冰念出一句「一张吉他的照片」。你想知道是什么牌子、什么颜色、边上还放了什么，它一概答不上来。

Google 在全球无障碍意识日（GAAD）公布了一批系统级更新，把 Gemini 模型更深地塞进了 Android 和 Chrome，解决的正是这种「只报个名字就了事」的尴尬。

读屏不再单向播报，可以追问细节了

去年 Google 把 Gemini 接进了 Android 自带的读屏工具 TalkBack，专门给没有替代文本（alt text）的图片生成描述。

这次更新让这项功能变成了双向对话。朋友发来一张新吉他的照片，TalkBack 读出画面后，你可以接着问琴身是什么颜色、属于哪个品牌、背景里还有什么。

更实用的是全屏幕理解。比如你在购物软件里挑衣服，可以直接问 Gemini 这件衣服是什么材质，或者当前页面到底有没有优惠券。信息获取从单纯的「听个响」变成了主动搜索。

听力辅助方面，Android 的实时表达字幕（Expressive Captions）开始识别情绪和语调。当视频里拉长声音喊出「太棒了」或者「不——」，字幕会如实打出连字符号，还能标注吹口哨、清嗓子这类背景音。

不过这项字幕更新目前门槛不低，只支持 Android 15 及以上设备，首批也仅对美、英、加、澳的英语用户开放。

啃下扫描件、考场和非标准发音

除了常规的手机界面，Google 这次把精力放在了几块此前很难啃的硬骨头上。

桌面端 Chrome 终于加入了针对扫描版 PDF 的 OCR 识别。以往这类文件在读屏软件看来就是一张张纯图片，根本读不出来，现在 Chrome 会自动识别字符，视障用户不仅能听读，还能像普通网页一样划词复制和搜索。

面向学生的 Chromebook 也补上了关键一环。大学理事会（College Board）的 Bluebook 考试应用负责承载 SAT 和 AP 考试，现在它全面打通了 Google 的 ChromeVox 读屏和语音输入等辅助功能。

针对语言障碍群体，Google 推动多年的 Euphonia 项目在 GitHub 上开源了代码库，供全球开发者训练非标准语音模型。同时他们还支持伦敦大学学院设立数字语言包容中心，专门为 10 种非洲本地语言建立无障碍语音数据集。

为什么重要

我们认为，Google 这一步走得相当实在。它没有把 AI 包装成一个独立的噱头功能，而是直接垫到了系统底层。

对视障或听障用户来说，最理想的工具往往是「感受不到新工具的存在」。你不需要去专门打开一个聊天窗口，而是在日常浏览、网购或查看朋友消息时，顺手就能追问屏幕上的内容，这真正降低了信息获取的摩擦力。

但这里也有明显的隐患。Gemini 依赖的是多模态大模型的推理，而大模型天生存在幻觉。普通人遇到 AI 胡说八道可能只是一笑而过，但如果视障用户依赖它读取商品成分、折扣规则甚至药品说明，一旦 AI 看走眼，代价会非常直接。

从行业来看，Google 正在把系统级辅助功能从传统的「死板读字」推向「屏幕语义理解」。这给苹果和微软也出了道题：未来的无障碍体验不再只是比拼谁的声音更自然，而是比拼谁的模型能在设备底层把杂乱的人机界面解释得更准。