Murf AI 上线语音模型 Falcon 2:每分钟 0.01 美元,延迟低于 100 毫秒
印度初创公司 Murf AI 上线语音模型 Falcon 2。其生成费用为每分钟 0.01 美元,仅为 ElevenLabs 的五分之一,响应延迟低于 100 毫秒。它在 Artificial Analysis 基准中表现超过 OpenAI 部分系统,支持 35 种语言与上万路并发。
印度初创公司 Murf AI 上线语音模型 Falcon 2。其生成费用为每分钟 0.01 美元,仅为 ElevenLabs 的五分之一,响应延迟低于 100 毫秒。它在 Artificial Analysis 基准中表现超过 OpenAI 部分系统,支持 35 种语言与上万路并发。
Adobe 宣布 Firefly 音频工具正式全面开放,支持一键生成具备商业安全许可的原创音乐、配音与音效。语音功能可选 ElevenLabs,同时平台引入 Google Gemini Omni Flash 模型,并为 AI Assistant 开放每日免费生成额度。
Meta AI 正式上线 macOS 桌面应用,核心亮点是支持全系统的语音听写功能。用户只需按住 fn 键说话,就能在电脑的任意软件中直接输入高精度转录文本,无需在多个窗口间来回切换。
ElevenLabs 正式推出实时语音模型 Eleven v3 Conversational。它支持德语、西班牙语等 70 多种语言及 1.1 万多种声音,开发者能通过音频标签精细控制笑声、耳语或讽刺语气,起售价为每千字符 0.05 美元。
开源语音模型 Audio8TS 发布,主干仅约 1 亿参数,加上编解码器整体体积也仅 1.7GB。它只需几秒参考音频即可完成零样本声音克隆,支持多语言,并提供 CPU 适用的 ONNX INT8 方案。这意味着普通笔记本无需独立显卡也能在本地轻松克隆声音。
开源语音 Agent 记忆系统 VoiceMem 发布。它把记忆拆成存事实的「左脑」和记偏好情绪的「右脑」,能在用户说话过程中同步完成流式检索,响应延迟仅 134 毫秒,单轮消耗约 430 token。最值得关注的是,它让语音助手不必卡顿等待检索,代码与模型已完全开源。
Pika 推出 Pika Audio 系列四款音频基础模型,涵盖视频音效同步 Soundtrack、音乐生成 Music、音效生成 SFX 以及语音合成 Speech。官方称其推理成本大幅降低,价格最高比同类竞品便宜 20 倍,目前已通过 Pika API Club 开放。
Grok Bot 面向付费用户上线拨打电话功能,能替用户拨打美国电话排队等客服、预约甚至协商账单。通话时配有实时文字记录,遇到答不出的问题用户可打字接力,但条款明确规定全部法律责任由用户自负。
小米团队开源音频生成模型 MiDashengLM-Gen。它能根据结构化描述,在同一次生成中将语音、背景音乐、音效和环境声自然融合为 16 kHz 音频。整套框架基于 Qwen3-1.7B 与 Flow Matching 技术,代码按 Apache 2.0 协议开放。
Deepgram 推出专为实时对话设计的语音合成模型 Flux TTS,延迟低至 80 毫秒。它能追踪多轮上下文,适应中途插话、临时更改要求等复杂通话场景。最值得关注的是其瞄准生产级客服部署,9 月 12 日前开发者可免费体验。
开源语音项目 IndexTTS 正式发布 2.5 版本。新版支持中、英、日、西、阿 5 种语言,推理速度显著快于 2.0,不仅支持 0.5 到 2 倍语速调节与多音字标注控制,还接入了 vLLM 生产级部署。
ElevenLabs 推出 Dubbing v2 API,允许开发者将 AI 配音接入自身产品。新模型基于原始表演生成,能在 90 多种语言中保留情绪和语气,并自动对齐时间。它还能更好处理背景音乐与多说话人场景,支持单段重新生成。
xAI 为 Imagine Video 1.5 推出重要升级,新增图像与声音参考、纯文本生视频和原生 1080p 输出。用户单次最多可传入 7 张参考图来固定人脸、产品或场景,并同步锁定角色声音保持镜头一致。纯文本生成与 1080p 已全面开放,音画参考先向美国付费用户推送。
AI 硬件公司 Friend 推出 2.0 版项链。新硬件内置扬声器,让原本只能收发短信的项链具备了固定性格的实时语音对话能力。不过升级带来的代价不小,零售价从一代的 99 美元跳涨至 249 美元,实际实用场景仍待市场检验。
HeyGen 推出新工具 Video Podcast,能将文档、链接或想法直接转化为双人主持的视频节目。不同于以往的纯音频播客生成,它提供演播室场景、多机位切换和空镜画面,几分钟即可生成可直接发布的完整视频。
Google 为 macOS 版 Gemini 带来全局语音功能。长按 Fn 键即可在任意窗口语音输入,系统会自动过滤语气词和口误;开启推理功能后,Gemini 还能结合屏幕选中的文件或文字完成总结、重写甚至图像修改。目前向全球英语用户推出。
开源歌声合成系统 VocalRender 发布。它直接接收歌词与 MIDI 音符输入,配合数秒参考音频,无需手动对齐时序即可渲染出 48 kHz 歌声。项目以 Apache-2.0 协议开源了全套代码,并提供约 9.5 GB 的基础版与 Pro 权重。
xAI 发布端到端语音模型 Grok Voice 2.0。它支持在发声的同时并行推理,首包音频延迟降至 0.7 秒,综合评测超越 GPT-Realtime-2.1。模型每分钟定价 0.08 美元,将于 8 月 5 日成为默认接口版本。
OpenAI 推出两款全新转录模型 gpt-transcribe 与 gpt-live-transcribe,分别面向批量处理与实时音频场景。模型重点优化了背景噪音、多语言、口音与专有名词等复杂环境。这意味着真实嘈杂场景下的语音转写精度将显著改善。
Fish Audio 宣布完成 5200 万美元种子轮融资,并公开发布语音克隆模型 S2.1 Pro。该模型仅需 5 秒音频即可克隆声音,速度是 Cartesia 的 2 倍,成本仅 ElevenLabs 的六分之一,且支持词级情感与节奏控制。HeyGen 等企业已接入生产环境。