跳到正文
IFAI

大模型

OpenAI 正式上線 Realtime API:推出 gpt-realtime,接打電話還降價 20%

首次發布 傳播指數 53

OpenAI 宣佈 Realtime API 正式商用,並推出端到端語音模型 gpt-realtime。新模型支援 SIP 電話直連、圖片輸入和遠端 MCP 工具呼叫,能在等待函式執行時自然接話,價格比預覽版降了 20%。

OpenAI 正式上線 Realtime API:推出 gpt-realtime,接打電話還降價 20%
圖:openai.com

過去做一個能打電話的 AI 客服,工程師往往得拿語音轉文字、大模型、文字轉語音拼成一條笨拙的流水線。不僅延遲高,AI 說話還像個照本宣科的念稿機器。

OpenAI 宣佈 Realtime API 正式結束公測並全面商用,同時推出了全新的端到端語音模型 gpt-realtime。這次不僅把價格下調了 20%,還直接補齊了企業落地的幾個核心短板。

不用拼積木,還能邊聊邊查資料

新模型 gpt-realtime 依然走單模型端到端路線,直接接收音訊並輸出音訊,避免了多模型串聯時的延遲和語氣損耗。

它新增了 Cedar 和 Marin 兩個新聲音,原有的 8 個預設聲線也同步翻新。新模型能捕捉笑聲等非語言訊號,甚至可以在同一句話裡無縫切換多國語言,語氣也能按照法國口音或職業嚴謹等要求進行細膩調整。

在底層能力上,gpt-realtime 的音訊推理基準得分從去年 12 月前代的 65.6% 躍升到了 82.8%。它對電話號碼、車架號這類長串字母數字的識別率大幅提升,支援中文、日語、法語和西班牙語等多語言混雜場景。

過去語音助手最怕遇到耗時較長的後臺任務,AI 常常會陷入尷尬的沉默。這次新模型原生支援非同步函式呼叫,在後臺查詢資料庫或調介面的同時,AI 能夠繼續自然地跟使用者閒聊接話,開發者甚至無需修改現有程式碼。

連上電話線,看懂螢幕截圖

除了動嘴,OpenAI 這次還給它配上了眼睛和電話線。

Realtime API 正式支援 SIP 協議。這意味著開發者不需要再去折騰複雜的語音閘道器,就能把模型直接接到企業 PBX 交換機、辦公室座機以及公共電話網路中,隨時化身真正的電話客服。

工具呼叫方面,它直接接入了遠端 MCP 協議。開發者只需在配置裡填一個遠端伺服器地址,API 就會自動處理後續的工具排程,不需要再手工手寫複雜的對接膠水程式碼。

它還補齊了多模態影像輸入。系統沒有采用極度消耗頻寬的即時影片流,而是允許應用按需傳送照片或螢幕截圖。使用者發一張報錯截圖,AI 就能看著圖片用語音指導操作。

價格上,gpt-realtime 比之前的預覽版便宜了 20%,音訊輸入每百萬 token 降至 32 美元,快取輸入為 0.40 美元,音訊輸出為 64 美元。新增的會話截斷控制也讓長對話的成本大幅降低。

為什麼重要

對開發者和企業來說,語音 Agent 終於跨過了從玩具到可用生產工具的門檻。以前自建端到端語音系統的技術門檻極高,現在只要配個 SIP 賬號和 MCP 連結,普通團隊幾天內就能拉起一套能接打電話、能查業務後臺的智慧坐席。

對整個行業而言,OpenAI 這次直奔企業級通訊基礎設施而去。支援 SIP 和 MCP 相當於直接切入了傳統呼叫中心軟體和電信服務商的地盤,那些只做中繼轉錄、音訊格式封裝的中介軟體創業公司,生存空間會被進一步擠壓。

我們認為 OpenAI 這次剋制的技術取捨非常聰明。他們沒有盲目跟風做昂貴的即時影片流輸入,而是用單張靜態圖結合語音,既把成本和算力消耗壓到了可商用的範圍,又解決了絕大多數真實場景的視覺答疑需求。

不過隱患依然存在。儘管新模型在 MultiChallenge 指令遵循測試中從 20.6% 提升到了 30.5%,但在絕對數值上,面對極其嚴苛的企業合規指令碼或免責宣告,端到端模型依然有自由發揮的風險,企業在真正全盤替代人工坐席前仍需做好邊界把控。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

每日 AI 內容精選