Voicebox:开源本地 AI 语音工具,搞定声音克隆与全局听写
开源本地 AI 语音应用 Voicebox 支持声音克隆与听写,GitHub 标星超 4.2 万。它仅需数秒音频即可克隆任意声音,支持用全局热键在任意输入框语音打字,还能配合 Claude Code 等为智能体配音。这让用户无需再订阅付费平台,即可在本地运行端到端语音能力。
开源本地 AI 语音应用 Voicebox 支持声音克隆与听写,GitHub 标星超 4.2 万。它仅需数秒音频即可克隆任意声音,支持用全局热键在任意输入框语音打字,还能配合 Claude Code 等为智能体配音。这让用户无需再订阅付费平台,即可在本地运行端到端语音能力。
微软开源语音识别模型 VibeVoice-ASR(9B 参数)。它摒弃了传统的切块转录做法,单次可直接处理长达 60 分钟音频,并端到端一体化输出文本、时间戳与说话人分离结果。长会议和播客转录不再担心上下文割裂,代码已开源并支持微调。
阿里推出开源文本转语音模型 Qwen3-TTS,提供 1.7B 和 0.6B 两种尺寸,仅需数秒音频即可克隆音色,还支持用提示词直接定制新声线。模型采用双轨架构,端到端延迟低至 97 毫秒,克隆中文后可直接说多国语言与方言,便于实时交互与有声书制作。
Adobe 为 Acrobat Studio 推出新 AI 功能,能把长报告等 PDF 直接转成播客音频或演示文稿。用户还能通过文字指令直接增删页面、签名和修改文字。目前音频总结底层使用了微软与 Google 的模型,类似 NotebookLM 的音频概览。
研究团队展示了一款可穿戴「智能喉」。它通过织物传感器捕捉喉肌微弱振动与脉搏,借助大模型将中风患者吃力的无声发音实时扩写为带情绪的完整句子,词错率仅 4.2%。最值得关注的是它无需侵入式脑机植入,不过目前仅在小范围受试者中完成概念验证。
Adobe 推出 Acrobat AI Assistant,把长文档和 PDF 变成交互式工作区。它能提供带精准引文链接的文档摘要,还可以生成播客风格的音频概览以及汇报演示文稿。现有 Reader、Standard 或 Pro 订阅用户登录即可体验,官方承诺用户数据不用于训练模型。
FlashLabs 开源端到端实时语音对话模型 Chroma 1.0。它无需经过文本中转,能直接接收音频输入并同步生成语音与文字回复;输入一段参考音频即可实现个性化声音克隆。模型参数约 4B,采用 Apache-2.0 协议开源,目前仅支持英语。
NVIDIA 推出全双工语音对话模型 PersonaPlex,支持端到端边听边说与实时打断。只需一段人设文本和参考音频,它就能克隆声线并自然接话或插话。最值得关注的是,它彻底打破了以往全双工交互与自定义角色不可兼得的死结。
Kyutai 开源轻量级语音合成工具 Pocket TTS,仅 1 亿参数,专为 CPU 设计且无需 GPU。在 MacBook Air M4 上仅用 2 核即可实现 6 倍实时速度,首包延迟约 200 毫秒,支持声音克隆与超长文本,代码与模型均已公开。
苹果与谷歌正式达成多年合作,将采用 Gemini 为未来的苹果基础模型及新版 Siri 提供支持。据报道苹果每年将支付约 10 亿美元授权费。最值得关注的是,苹果罕见将核心助手的底座外包给竞争对手,同时其与 ChatGPT 的合作依然保持有效。
开发者开源微型音频超分模型 NovaSR。模型体积仅约 52KB,架构不足 10 层卷积,单张 A100 上运行速度可达 3600 倍实时,能把 16kHz 的发闷音频还原为 48kHz 高清声音。它几乎不占显存,非常适合塞进端侧设备或给 TTS 实时提质。
阿里巴巴 Qwen 团队上线 Qwen3-TTS 语音系列,主打声音设计与克隆。其中 VoiceDesign 支持用自然语言提示词定制语气和人设,VoiceClone 则仅需 3 秒音频就能复刻声音并支持 10 种语言。在多语言测试中,其词错误率比 ElevenLabs 低 15%。
快手为可灵 2.6 推出语音控制与动作控制两项升级。用户可上传音频训练专属声音,让角色在多个视频片段里保持音色一致,支持旁白与歌唱;动作控制则大幅强化了复杂运动捕捉,生成武术与舞蹈时手部更清晰、唇形同步也更自然。
xAI 正式面向开发者开放 Grok Voice Agent API。该接口采用全自研语音栈,首个音频响应时间低于 1 秒,定价每分钟 0.05 美元,且兼容 OpenAI Realtime API 规范。最值得关注的是,它已在特斯拉车机上验证落地,支持对话中无缝切换数十种语言及细腻的情绪语气。
Amazon 推出新版 AI 助手 Alexa+,支持自然连续对话、跨设备接续,并开放 alexa.amazon.com 网页端打字交流。Prime 会员可免费全量使用,普通用户也能在网页和 App 免费体验每日限量功能。不过目前仅面向美国用户开放英语和西班牙语。
Google 推出升级版 Gemini 2.5 Flash Native Audio,大幅提升了语音智能体的工具调用准确率和长对话连贯性。同时 Google 翻译 App 上线耳机实时同传测试版,支持 70 多种语言双向交流,还能保留说话者的语调与节奏。
Interaction Labs 发布桌面伴侣机器人台灯 Ongo 并开启首批 100 台预售。Ongo 具备视听和说话能力,动作由《玩具总动员》编剧设计,能根据用户需求调整照明、提醒日常琐事,还配有墨镜配件遮挡视线保护隐私。
OpenAI 宣布把 ChatGPT Voice 语音功能直接揉进常规聊天界面,不再需要切换独立模式。你可以一边说话,一边看着回答实时生成、翻看历史记录,或者同步查看图片和地图等视觉内容。目前正向移动端和网页端全量推送。
Google 宣布将 Gemini AI 助手推向 Android Auto,覆盖全球 45 种语言。车主不再需要死记硬背固定指令,可以通过自然对话让它沿途找店、总结未读邮件与信息,甚至开启 Gemini Live 连续交流。目前正面向已在手机升级 Gemini 的用户分批推送。
ElevenLabs 推出 Image & Video 公测版。平台聚合了 Veo、Sora、Kling、Flux 等主流图像与视频模型,用户生成画面后可直接套用其声音库生成旁白并自动对口型,在 Studio 时间轴内一站式完成剪辑与导出。