字节联合清华发布 DreamID-Omni:一张图配声音,搞定多人对嘴对话
字节跳动与清华大学团队发布 DreamID-Omni。它能接收图像、文本与参考音频,让虚拟角色用对应原声说话,并解决了多人同屏对嘴混乱的问题,还支持现有视频的换脸换声。团队预计 3 月正式开源。
字节跳动与清华大学团队发布 DreamID-Omni。它能接收图像、文本与参考音频,让虚拟角色用对应原声说话,并解决了多人同屏对嘴混乱的问题,还支持现有视频的换脸换声。团队预计 3 月正式开源。
Burger King 推出集成在员工耳机里的语音 AI 助手「Patty」。它基于 OpenAI 技术,既能解答配方或设备清洁问题,还会监测员工是否说了「请」和「谢谢」,店长可随时查询门店礼貌度评分。该助手正于 500 家门店试点。
OpenAI 在 Realtime API 中上线新模型 gpt-realtime-1.5。新模型重点提升了实时语音场景下的指令遵循、工具调用以及多语言准确率。也就是说,开发者在构建低延迟语音智能体时,能更稳定地让 AI 边聊边调外部接口和数据。
AI 听写工具 Wispr Flow 正式上线 Android 应用。它采用悬浮气泡交互,可在任意应用上唤醒,能自动过滤口头语气词并按语境排版;底层重构让听写提速 30%,还支持百余种语言翻译以及印地语英语混说。
Apple 在 iOS 26.4 开发者指南中新增语音对话应用类别,CarPlay 首次允许 ChatGPT、Claude 与 Gemini 等第三方 AI 接入。车载界面将提供专属语音反馈屏支持免提问答。不过第三方 AI 无法控制车机功能,也不支持语音唤醒词,必须手动点击打开。
ElevenLabs 推出客服平台 ElevenAgents for Support。它支持 90 多种语言跨语音、电话和 WhatsApp 等渠道运作,具备亚秒级响应与情绪感知能力,直接导入现有 SOP 即可无代码部署。最值得关注的是,它提供超 1 万种声音,遇到复杂问题还能带完整上下文平滑转接人工。
梵蒂冈圣伯多禄大殿联合语言服务商 Translated 推出 AI 实时同传。访客扫码就能在手机浏览器里听到或看到 60 种语言的弥撒音频与文字,无需下载 App。底层使用的是 Translated 结合专业译员经验的 Lara AI 工具。
Moonshine AI 发布开放权重的 Moonshine Voice 语音转文字模型,支持在 iOS、Android 和树莓派等设备端实时运行。其 2 亿参数流式模型参数量比 Whisper Large v3 小 7.5 倍,字误率却更低,还内置了语音活动检测和意图识别功能。
T-Mobile 宣布今春测试网络级实时翻译功能。AI 直接跑在运营商网络层,只要支持 VoLTE 通话,老式翻盖机也不用装 App;通话中按 87 就能实时翻译 50 多种语言。通话不保存录音,测试期免费,现已开放资格申请。
ElevenLabs 宣布获得首个基于 AIUC-1 认证的 AI 语音智能体保险。该方案经过 5000 多次对抗性模拟测试,让企业能像为真人雇员投保一样,为 AI 乱说话或操作失误买单。这意味着此前卡在法律和安全担忧上的 95% 企业级 AI 试点,终于有了落地的兜底网。
ElevenLabs 推出 Audiobooks 功能,创作者可将文本手稿一键转为有声书。它提供富有表现力的 AI 配音与场景级精细调节,支持添加音效与声音克隆,并能直接分发至 ElevenReader 及各大主流平台,把繁琐的专业录音流程压缩为一站式工作流。
OpenMOSS 开源多语言语音模型家族 MOSS-TTS,支持凭几秒音频快速克隆声音。该系列涵盖声音克隆、多角色对话、声音设计与低延迟实时流式语音,提供 8B 与 1.7B 等轻量版本,已在 GitHub 提供部署代码。
Soul-AILab 开源零样本歌唱合成模型 SoulX-Singer。它只需几秒说话音频就能克隆目标人声,既能直接把参考歌声转成指定音色,也支持用自己哼唱的旋律或 MIDI 控调。模型体积不足 3GB,低端 GPU 甚至 CPU 都能本地跑起来。
开源配音工具 Just Dub It 发布。它基于 LTX-2 打造了轻量 LoRA 适配器,能把视频翻译成法语、德语等外语并同步生成匹配的唇部动作,同时保留原人脸特征。代码、模型权重与训练集已全部开源,支持消费级显卡部署。
统一音频语言模型 UniAudio 2.0 开源,将语音合成、音效、音乐生成及风格编辑整合进同一个模型。它通过专门的离散编解码器打通理解与生成,虽部分音乐生成质量仍有瑕疵,但成功用单模型覆盖了全音频任务。
今天,Mistral AI 发布语音转文字模型家族 Voxtral Transcribe 2。其中 4B 参数的实时模型 Voxtral Realtime 采用 Apache 2.0 开源权重,支持端侧部署且延迟可调至 200ms 以内;批量模型成本仅 0.003 美元每分钟,覆盖 13 种语言并支持说话人区分。
OpenBMB 开源 9B 参数全模态模型 MiniCPM-o 4.5,能同时处理音视频输入并实时语音交互。它采用全双工架构,不仅允许用户打断,模型还能每秒做一次决策主动插话提醒。模型支持本地部署,视觉与文档解析能力逼近甚至超过部分主流闭源模型。
ElevenLabs 宣布文本转语音模型 Eleven v3 结束 Alpha 测试并正式全面可用。新版重点修正了电话号码、货币和化学式等符号读法,错误率从 15.3% 降至 4.9%,测试中 72% 的用户偏好这一版本。
统一音频理解模型 MOSS-Audio 正式开源,提供 4B 与 8B 规格,均包含 Instruct 和 Thinking 版本。该模型将语音识别、说话人分析、情感检测、环境声及音乐理解集成在单一架构内,时间戳 ASR 精度表现大幅领先 Gemini-3.1-Pro。
据外媒报道,Apple 已斥资近 20 亿美元收购以色列 AI 初创公司 Q.ai,创下苹果史上第二大收购案。Q.ai 专注面部微表情分析与「无声」语音输入。也就是说,未来 AirPods 或 Vision Pro 哪怕你不张嘴出声,也能精准识别指令。