ChatGPT 支援看圖和語音對話：能聽會說，還能看懂冰箱食材

過去大半年，大家和 ChatGPT 打交道的方式基本只有一種：在輸入框裡敲字，然後等它一行行吐字出來。

OpenAI 宣佈給 ChatGPT 裝上了眼睛和嘴巴。接下來兩週內，Plus 和企業版使用者就能直接跟它語音對話，或者拍張照片讓它分析。

移動端上的語音功能支援 iOS 和 Android，要在設定裡手動開啟。影像功能則全平臺上線，網頁端和手機端都能用。

拍張照就能聊，聲音像真人一樣自然

新加的語音聊天做得很輕量。你戴上耳機，在手機 app 點一下右上角的耳機圖示，就能像打電話一樣跟它來回聊，隨時打斷。

OpenAI 這次用了一個新的文本轉語音模型，只要幾秒鐘的真人聲音樣本，就能生成極度逼真的合成人聲。他們找了專業配音演員合作，做了 5 種不同聲線供你選。而聽懂你說話的底層，依然是開源的 Whisper 語音識別。

這項語音生成技術已經在向外輸出。比如 Spotify 就在灰度測試一項語音翻譯功能，可以用播客主播自己的聲音，把英文播客自動翻譯成西班牙語或其他語言，聽起來還是原汁原味。

影像能力則是多模態 GPT-3.5 和 GPT-4 的正式落地。你可以給它發一張或多張照片，手機端還自帶畫筆工具，讓你圈出想讓它看的地方。

官方演示的場景很貼近生活：拍一下打不著火的烤爐讓它排查故障，拍一下冰箱冷藏室讓它出晚餐食譜，或者拍下孩子的數學題讓它給點解題提示。另外在工作裡，丟給它複雜的業務圖表或者帶圖文的文件，它也能看圖說話。

為什麼不讓你隨便識別真人面孔

能力一變強，安全限制也跟著收緊了。

OpenAI 特意提到，他們大幅限制了 ChatGPT 分析和評價真人的能力。也就是說，如果你拍一張路人或者名人的照片問它是誰、評價長相，它大機率會拒絕回答。一方面是怕模型在真人身份上產生幻覺，另一方面也是為了避開隱私侵權和深度偽造詐騙的雷區。

在視覺無障礙方面，他們其實之前就和盲人輔助軟體 Be My Eyes 合作過很久。很多視障使用者反饋，最實用的往往是幫他們看電視遙控器按鍵，或者看周圍環境，只要背景裡有人，模型以前很容易報錯，現在優化了這種誤傷情況。

不過官方也老實承認了短板。目前的影像文字識別在英文上很穩，但遇到非羅馬字母的語言，識別效果就會斷崖式下跌，官方甚至直接勸非英語使用者先別拿它來做嚴肅文件識別。

為什麼重要

我們認為，這是 ChatGPT 自發布以來最重要的一次互動躍遷。

對普通人來說，AI 終於從一個嚴肅的文本搜尋框，變成了真正能裝進兜裡的隨身助手。以前你想問現實世界裡的問題，得先在腦子裡把畫面翻譯成一段文字描述，門檻非常高。現在拍張照或者說句話就能解決，哪怕是老人和小孩，也能零門檻用上大模型。

對行業來說，純文字對話機器人的時代基本結束了。前腳 OpenAI 剛端出 DALL-E 3，後腳就把語音和視覺全塞進了同一個入口，直接把競爭維度拉到了原生多模態。這無疑會給後面追趕的 Google Gemini 以及各種主打垂類視覺分析的創業公司帶來巨大壓力。

OpenAI 這一步走得相當剋制。他們沒有把聲音克隆功能做成開放工具，而是隻開放固定的 5 種音色，克隆能力僅限定向合作；影像端也死死卡住真人識別。這種犧牲一部分自由度換取合規安全的做法，在當下的監管環境下，看起來是唯一能讓多模態大模型快速走出實驗室、推向億級使用者的務實路徑。