跳到正文
IFAI

大模型

OpenAI 推出三款实时语音模型:上下文扩至 128K,支持边推理边干活

首次发布 传播指数 65

2026-05-07,OpenAI 在 Realtime API 中推出 GPT-Realtime-2 等三款语音模型。新模型支持多级推理与并行工具调用,上下文从 32K 扩至 128K,并加入支持 70 多种语言的实时同传和低延迟流式转写功能,让语音助手能在对话中直接处理复杂任务。

OpenAI 推出三款实时语音模型:上下文扩至 128K,支持边推理边干活
图:openai.com

过去我们跟语音助手对话,最怕空气突然安静。你提了个稍复杂的退票改签要求,耳机里只剩下漫长死寂,你甚至分不清它是卡死了,还是在默默算账。

OpenAI 在其 API 中上线了三款新的实时音频模型。其中最核心的是 GPT-Realtime-2,官方称这是首款具备 GPT-5 级别推理能力的语音模型。与之同步推出的,还有支持多语言同步互译的 GPT-Realtime-Translate,以及低延迟流式转写的 GPT-Realtime-Whisper。

边想边说,语音助手不再装死

这次更新最直接的改变,是 AI 语音交互终于告别了回合制的呆板节奏。

GPT-Realtime-2 引入了前导句机制。在检索日历或调用多个后台工具时,它会主动插话,比如自然地说一句「我帮您看一下」或者「正在查询航班」,让用户知道它在干活而不是断线了。

它还支持并行工具调用。哪怕面对复杂的多步骤任务,模型也能一边推进多个接口查询,一边跟用户保持连贯交谈,遇到错误时也不会静默崩溃,而是主动告知遇到了麻烦。

在底层能力上,该模型的上下文窗口从之前的 32K 直接拉高到了 128K。这意味着用户可以进行非常冗长复杂的连续任务,模型也能记住更精准的专业术语和人名。

开发者还能手动调节它的推理档位,从极低、低、中、高到超高共五档,默认设为低档以兼顾响应速度。根据官方数据,在 Big Bench Audio 基准测试中,GPT-Realtime-2 的高档位得分比 1.5 版本提升了 15.2%,达到 96.6% 的高分。

翻译与转写补齐最后一块拼图

除了主干对话模型,另外两款配套模型把语音工作流补全了。

GPT-Realtime-Translate 专攻实时口译,支持超过 70 种输入语言并能实时转化为 13 种输出语言。它的核心特点是能跟上说话人的即时语速,目前德国电信已经开始测试这一功能用于跨国客服,Vimeo 也在尝试用它做教学视频的即时多语种旁白。

流式语音转文字模型 GPT-Realtime-Whisper 走的是极低延迟路线,在用户开口的同时同步生成字幕和会议纪要。

价格方面,GPT-Realtime-2 音频输入每百万 token 标价 32 美元,缓存命中仅需 0.40 美元,音频输出为每百万 token 标价 64 美元。实时翻译和实时转写则按时间计费,分别标价每分钟 0.034 美元和 0.017 美元。同时 OpenAI 设置了主动安全分类器,一旦检测到违规欺诈内容会立刻切断会话。

为什么重要

对于开发者和企业来说,这三款模型把搭建成熟语音 Agent 的门槛砸平了一大截。

以前做实时语音助手,开发者需要自己拼装语音识别、大模型思考、工具编排和语音合成四套系统,延迟动辄两三秒,体验非常破碎。现在 Zillow 可以让用户随口说出复杂的买房预算条件并直接排期看房,Priceline 也能在旅客赶飞机的混乱现场即时处理改签。

我们认为,OpenAI 这一次的做法很务实。它没有一味去追求把音色调得多像真人撒娇,而是集中精力解决了两件事:把推理能力灌进实时语音,以及让模型学会边思考边发声。

这种并行工具调用和状态反馈机制,补齐了过去语音智能体最致命的黑盒盲区。在商业客服、医疗和出海场景里,这种靠谱感远比单纯的情绪音调重要得多。

不过隐患同样摆在眼前。虽然缓存 token 便宜,但音频输入输出的常规定价依然不算低,一旦进入海量并发的客服场景,调用账单会迅速攀升。此外,虽然官方宣称有安全分类器实时兜底,但面对高度逼真的实时口译和对话,防范电信欺诈和社工伪造的压力依然巨大。

来源 (2)

  1. [1]
    openai.com(在新标签页打开)原文openai.com
  2. [2]
    techcrunch.com(在新标签页打开)报道techcrunch.com

每日 AI 内容精选