ChatGPT 支持看图和语音对话：能听会说，还能看懂冰箱食材

过去大半年，大家和 ChatGPT 打交道的方式基本只有一种：在输入框里敲字，然后等它一行行吐字出来。

OpenAI 宣布给 ChatGPT 装上了眼睛和嘴巴。接下来两周内，Plus 和企业版用户就能直接跟它语音对话，或者拍张照片让它分析。

移动端上的语音功能支持 iOS 和 Android，要在设置里手动开启。图像功能则全平台上线，网页端和手机端都能用。

拍张照就能聊，声音像真人一样自然

新加的语音聊天做得很轻量。你戴上耳机，在手机 app 点一下右上角的耳机图标，就能像打电话一样跟它来回聊，随时打断。

OpenAI 这次用了一个新的文本转语音模型，只要几秒钟的真人声音样本，就能生成极度逼真的合成人声。他们找了专业配音演员合作，做了 5 种不同声线供你选。而听懂你说话的底层，依然是开源的 Whisper 语音识别。

这项语音生成技术已经在向外输出。比如 Spotify 就在灰度测试一项语音翻译功能，可以用播客主播自己的声音，把英文播客自动翻译成西班牙语或其他语言，听起来还是原汁原味。

图像能力则是多模态 GPT-3.5 和 GPT-4 的正式落地。你可以给它发一张或多张照片，手机端还自带画笔工具，让你圈出想让它看的地方。

官方演示的场景很贴近生活：拍一下打不着火的烤炉让它排查故障，拍一下冰箱冷藏室让它出晚餐食谱，或者拍下孩子的数学题让它给点解题提示。另外在工作里，丢给它复杂的业务图表或者带图文的文档，它也能看图说话。

为什么不让你随便识别真人面孔

能力一变强，安全限制也跟着收紧了。

OpenAI 特意提到，他们大幅限制了 ChatGPT 分析和评价真人的能力。也就是说，如果你拍一张路人或者名人的照片问它是谁、评价长相，它大概率会拒绝回答。一方面是怕模型在真人身份上产生幻觉，另一方面也是为了避开隐私侵权和深度伪造诈骗的雷区。

在视觉无障碍方面，他们其实之前就和盲人辅助软件 Be My Eyes 合作过很久。很多视障用户反馈，最实用的往往是帮他们看电视遥控器按键，或者看周围环境，只要背景里有人，模型以前很容易报错，现在优化了这种误伤情况。

不过官方也老实承认了短板。目前的图像文字识别在英文上很稳，但遇到非罗马字母的语言，识别效果就会断崖式下跌，官方甚至直接劝非英语用户先别拿它来做严肃文档识别。

为什么重要

我们认为，这是 ChatGPT 自发布以来最重要的一次交互跃迁。

对普通人来说，AI 终于从一个严肃的文本搜索框，变成了真正能装进兜里的随身助手。以前你想问现实世界里的问题，得先在脑子里把画面翻译成一段文字描述，门槛非常高。现在拍张照或者说句话就能解决，哪怕是老人和小孩，也能零门槛用上大模型。

对行业来说，纯文字对话机器人的时代基本结束了。前脚 OpenAI 刚端出 DALL-E 3，后脚就把语音和视觉全塞进了同一个入口，直接把竞争维度拉到了原生多模态。这无疑会给后面追赶的 Google Gemini 以及各种主打垂类视觉分析的创业公司带来巨大压力。

OpenAI 这一步走得相当克制。他们没有把声音克隆功能做成开放工具，而是只开放固定的 5 种音色，克隆能力仅限定向合作；图像端也死死卡住真人识别。这种牺牲一部分自由度换取合规安全的做法，在当下的监管环境下，看起来是唯一能让多模态大模型快速走出实验室、推向亿级用户的务实路径。