OpenAI 釋出 GPT-4o：端到端全模態，語音延遲低至 232 毫秒

過去用手機跟 AI 語音對話，體驗總有點像在用對講機：你說完一句，得對著空氣安靜等上三四秒，等對面的系統先識別、再理解、再合成語音，擠出來一段毫無情緒的播音腔。

OpenAI 帶來了新的旗艦模型 GPT-4o，名字裡的「o」代表 omni（全能）。它最顯眼的變化，就是把這種卡頓感徹底抹掉了：模型響應音訊的最快時間壓縮到 232 毫秒，平均只需 320 毫秒，幾乎和真人日常接話的速度一樣快。

把看、聽、說揉進同一個腦子

以前 ChatGPT 的語音模式其實是三個獨立模型在「接力跑」：一個負責語音轉文字，GPT-3.5 或 GPT-4 負責看懂文字並回答，最後一個再把文字念出來。這樣折騰下來，平均延遲在 2.8 秒到 5.4 秒之間。

更要命的是資訊在流水線裡被嚴重摺損了。核心的大模型根本聽不到你的嘆氣、笑聲或環境背景音，只能面對乾癟的文字轉寫，自然也沒法根據你的語氣來接梗或改變情緒。

GPT-4o 的做法是徹底端到端訓練，文本、視覺和音訊全部塞進同一個神經網路裡。模型能直接「聽」懂語調、「看」懂畫面，也能直接發出帶笑意或唱歌的聲音。在標準基準測試中，它的英文和程式碼能力追平了 GPT-4 Turbo，視覺和語音理解則重新整理了現有水平。

多語言分詞器也重新做了一遍。對非英語語種來說，處理同樣內容需要的 token 數量明顯減少，中文壓縮了 1.4 倍，日文壓縮 1.4 倍，印地語減少了近三倍。這意味著非英語互動不僅速度更快，費用也變低了。

在 API 方面，GPT-4o 相比 GPT-4 Turbo 速度翻倍，價格直接砍半，併發速率限制還放寬了 5 倍。

旗艦能力進免費版，語音先穩一把

除了技術架構換代，OpenAI 這次在產品策略上也動了真格。GPT-4o 的文本和視覺功能不僅給付費的 Plus 使用者用，還直接開放給了 ChatGPT 的免費層級，Plus 使用者的訊息額度則是免費使用者的 5 倍。

不過，完全形態的音訊和影片還沒到全面鋪開的時候。OpenAI 表示，因為原生音訊引入了全新的風險，初期公開發布的先是文本和影像輸入與文本輸出。新版的高階語音模式會在未來幾週內以 Alpha 測試形式推送給部分 Plus 使用者，語音輸出暫時只開放預設音色。

在安全方面，OpenAI 組織了 70 多位涵蓋社會心理學、虛假資訊等領域的外部專家進行紅隊測試。根據其準備度框架評估，GPT-4o 在網路安全、生物化學核輻射威脅、說服力以及自主性上都沒有超過中度風險。

為什麼重要

我們認為，GPT-4o 這一步最狠的地方，其實是商業策略的降維打擊。以往最頂級的 GPT-4 級智力一直被鎖在每月 20 美元的付費牆後面，現在 OpenAI 把它免費端出來，同時在 API 側把呼叫成本直接砍掉一半。這幾乎把市面上那些主打「平替 GPT-4」的中小模型逼到了牆角，中小開發者試錯和落地的門檻被大幅拉低。

對互動形態來說，它很可能成為人機互動的分水嶺。平均 320 毫秒的延遲加上能聽懂語氣、能即時打斷的體驗，讓 AI 第一次擺脫了「問答機器」的遲鈍感，真正具備了電話客服、即時同傳、外語陪練甚至車載助手的可用度。

不過隱患也同樣擺在眼前。端到端的情緒模仿與逼真語音，不僅會放大深度偽造和欺詐的殺傷力，還會讓人類更容易對 AI 產生不切實際的情感依戀。這也是為什麼 OpenAI 選擇先放文字影像，把最驚豔的即時語音和影片壓後測試。看起來，它既想用免費旗艦收割大眾使用者，又得小心翼翼地防範這套全新互動帶來的反噬。