OpenAI 发布 GPT-4o：端到端全模态，语音延迟低至 232 毫秒

过去用手机跟 AI 语音对话，体验总有点像在用对讲机：你说完一句，得对着空气安静等上三四秒，等对面的系统先识别、再理解、再合成语音，挤出来一段毫无情绪的播音腔。

OpenAI 带来了新的旗舰模型 GPT-4o，名字里的「o」代表 omni（全能）。它最显眼的变化，就是把这种卡顿感彻底抹掉了：模型响应音频的最快时间压缩到 232 毫秒，平均只需 320 毫秒，几乎和真人日常接话的速度一样快。

把看、听、说揉进同一个脑子

以前 ChatGPT 的语音模式其实是三个独立模型在「接力跑」：一个负责语音转文字，GPT-3.5 或 GPT-4 负责看懂文字并回答，最后一个再把文字念出来。这样折腾下来，平均延迟在 2.8 秒到 5.4 秒之间。

更要命的是信息在流水线里被严重折损了。核心的大模型根本听不到你的叹气、笑声或环境背景音，只能面对干瘪的文字转写，自然也没法根据你的语气来接梗或改变情绪。

GPT-4o 的做法是彻底端到端训练，文本、视觉和音频全部塞进同一个神经网络里。模型能直接「听」懂语调、「看」懂画面，也能直接发出带笑意或唱歌的声音。在标准基准测试中，它的英文和代码能力追平了 GPT-4 Turbo，视觉和语音理解则刷新了现有水平。

多语言分词器也重新做了一遍。对非英语语种来说，处理同样内容需要的 token 数量明显减少，中文压缩了 1.4 倍，日文压缩 1.4 倍，印地语减少了近三倍。这意味着非英语交互不仅速度更快，费用也变低了。

在 API 方面，GPT-4o 相比 GPT-4 Turbo 速度翻倍，价格直接砍半，并发速率限制还放宽了 5 倍。

旗舰能力进免费版，语音先稳一把

除了技术架构换代，OpenAI 这次在产品策略上也动了真格。GPT-4o 的文本和视觉功能不仅给付费的 Plus 用户用，还直接开放给了 ChatGPT 的免费层级，Plus 用户的消息额度则是免费用户的 5 倍。

不过，完全形态的音频和视频还没到全面铺开的时候。OpenAI 表示，因为原生音频引入了全新的风险，初期公开发布的先是文本和图像输入与文本输出。新版的高级语音模式会在未来几周内以 Alpha 测试形式推送给部分 Plus 用户，语音输出暂时只开放预设音色。

在安全方面，OpenAI 组织了 70 多位涵盖社会心理学、虚假信息等领域的外部专家进行红队测试。根据其准备度框架评估，GPT-4o 在网络安全、生物化学核辐射威胁、说服力以及自主性上都没有超过中度风险。

为什么重要

我们认为，GPT-4o 这一步最狠的地方，其实是商业策略的降维打击。以往最顶级的 GPT-4 级智力一直被锁在每月 20 美元的付费墙后面，现在 OpenAI 把它免费端出来，同时在 API 侧把调用成本直接砍掉一半。这几乎把市面上那些主打「平替 GPT-4」的中小模型逼到了墙角，中小开发者试错和落地的门槛被大幅拉低。

对交互形态来说，它很可能成为人机交互的分水岭。平均 320 毫秒的延迟加上能听懂语气、能实时打断的体验，让 AI 第一次摆脱了「问答机器」的迟钝感，真正具备了电话客服、实时同传、外语陪练甚至车载助手的可用度。

不过隐患也同样摆在眼前。端到端的情绪模仿与逼真语音，不仅会放大深度伪造和欺诈的杀伤力，还会让人类更容易对 AI 产生不切实际的情感依恋。这也是为什么 OpenAI 选择先放文字图像，把最惊艳的实时语音和视频压后测试。看起来，它既想用免费旗舰收割大众用户，又得小心翼翼地防范这套全新交互带来的反噬。