跳到正文
IFAI

大模型

OpenAI 推出三款即時語音模型:上下文擴至 128K,支援邊推理邊幹活

首次發布 傳播指數 65

2026-05-07,OpenAI 在 Realtime API 中推出 GPT-Realtime-2 等三款語音模型。新模型支援多級推理與並行工具呼叫,上下文從 32K 擴至 128K,並加入支援 70 多種語言的即時同傳和低延遲流式轉寫功能,讓語音助手能在對話中直接處理複雜任務。

OpenAI 推出三款即時語音模型:上下文擴至 128K,支援邊推理邊幹活
圖:openai.com

過去我們跟語音助手對話,最怕空氣突然安靜。你提了個稍複雜的退票改簽要求,耳機裡只剩下漫長死寂,你甚至分不清它是卡死了,還是在默默算賬。

OpenAI 在其 API 中上線了三款新的即時音訊模型。其中最核心的是 GPT-Realtime-2,官方稱這是首款具備 GPT-5 級別推理能力的語音模型。與之同步推出的,還有支援多語言同步互譯的 GPT-Realtime-Translate,以及低延遲流式轉寫的 GPT-Realtime-Whisper。

邊想邊說,語音助手不再裝死

這次更新最直接的改變,是 AI 語音互動終於告別了回合制的呆板節奏。

GPT-Realtime-2 引入了前導句機制。在檢索日曆或呼叫多個後臺工具時,它會主動插話,比如自然地說一句「我幫您看一下」或者「正在查詢航班」,讓使用者知道它在幹活而不是斷線了。

它還支援並行工具呼叫。哪怕面對複雜的多步驟任務,模型也能一邊推進多個介面查詢,一邊跟使用者保持連貫交談,遇到錯誤時也不會靜默崩潰,而是主動告知遇到了麻煩。

在底層能力上,該模型的上下文視窗從之前的 32K 直接拉高到了 128K。這意味著使用者可以進行非常冗長複雜的連續任務,模型也能記住更精準的專業術語和人名。

開發者還能手動調節它的推理檔位,從極低、低、中、高到超高共五檔,預設設為低檔以兼顧響應速度。根據官方資料,在 Big Bench Audio 基準測試中,GPT-Realtime-2 的高檔位得分比 1.5 版本提升了 15.2%,達到 96.6% 的高分。

翻譯與轉寫補齊最後一塊拼圖

除了主幹對話模型,另外兩款配套模型把語音工作流補全了。

GPT-Realtime-Translate 專攻即時口譯,支援超過 70 種輸入語言並能即時轉化為 13 種輸出語言。它的核心特點是能跟上說話人的即時語速,目前德國電信已經開始測試這一功能用於跨國客服,Vimeo 也在嘗試用它做教學影片的即時多語種旁白。

流式語音轉文字模型 GPT-Realtime-Whisper 走的是極低延遲路線,在使用者開口的同時同步生成字幕和會議紀要。

價格方面,GPT-Realtime-2 音訊輸入每百萬 token 標價 32 美元,快取命中僅需 0.40 美元,音訊輸出為每百萬 token 標價 64 美元。即時翻譯和即時轉寫則按時間計費,分別標價每分鐘 0.034 美元和 0.017 美元。同時 OpenAI 設定了主動安全分類器,一旦檢測到違規欺詐內容會立刻切斷會話。

為什麼重要

對於開發者和企業來說,這三款模型把搭建成熟語音 Agent 的門檻砸平了一大截。

以前做即時語音助手,開發者需要自己拼裝語音識別、大模型思考、工具編排和語音合成四套系統,延遲動輒兩三秒,體驗非常破碎。現在 Zillow 可以讓使用者隨口說出複雜的買房預算條件並直接排期看房,Priceline 也能在旅客趕飛機的混亂現場即時處理改簽。

我們認為,OpenAI 這一次的做法很務實。它沒有一味去追求把音色調得多像真人撒嬌,而是集中精力解決了兩件事:把推理能力灌進即時語音,以及讓模型學會邊思考邊發聲。

這種並行工具呼叫和狀態反饋機制,補齊了過去語音智慧體最致命的黑盒盲區。在商業客服、醫療和出海場景裡,這種靠譜感遠比單純的情緒音調重要得多。

不過隱患同樣擺在眼前。雖然快取 token 便宜,但音訊輸入輸出的常規定價依然不算低,一旦進入海量併發的客服場景,呼叫賬單會迅速攀升。此外,雖然官方宣稱有安全分類器即時兜底,但面對高度逼真的即時口譯和對話,防範電信欺詐和社工偽造的壓力依然巨大。

來源 (2)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com
  2. [2]
    techcrunch.com(在新分頁開啟)報導techcrunch.com

每日 AI 內容精選