Meta 开源多模态翻译模型 SeamlessM4T:支持近百种语言互译
Meta 推出全能多模态翻译模型 SeamlessM4T,支持近 100 种语言的语音与文本互译,包含近百种语言语音转文本及 36 种语言语音互译。该模型以研究许可开源,同时放出了 27 万小时语音文本对齐数据集 SeamlessAlign 的元数据。
Meta 推出全能多模态翻译模型 SeamlessM4T,支持近 100 种语言的语音与文本互译,包含近百种语言语音转文本及 36 种语言语音互译。该模型以研究许可开源,同时放出了 27 万小时语音文本对齐数据集 SeamlessAlign 的元数据。
Microsoft 宣布扩大与医疗软件巨头 Epic 的合作,将 Azure OpenAI 和 Nuance DAX Express 深度集成至 Epic 电子病历平台中。医生不仅能靠 AI 快速总结病历和回复患者,还能通过环境语音自动生成临床文档,旨在缓解医护过劳并简化繁重的行政记账流程。
ElevenLabs 宣布平台正式结束 Beta 测试,并推出语音生成模型 Eleven Multilingual v2。新模型支持中文、韩语、日文等 28 种语言,能自动识别输入语种,并保持说话人原有的音色和口音特征,用同一套声音完成多语种配音。
ElevenLabs 宣布与科学视频平台 ScienceCast 及 arXiv 展开合作。ScienceCast 的自动化视频工具接入了 ElevenLabs 的 AI 语音合成能力,能把 arXiv 上的学术论文直接生成为 3 到 5 分钟的配音简报,帮科研人员从海量文献中快速抓重点。
Take-Two 近日向《GTA 5》AI 模组 Sentient Streets 发出 DMCA 侵权通知,导致该模组及演示视频被全网下架。该模组接入 Inworld AI 与 ElevenLabs 技术,支持玩家与 30 多个 NPC 实时语音交谈。作者表示下架前未收到任何官方沟通,为防范法律风险已主动撤下相关资源。
ElevenLabs 与 Inworld 宣布达成合作,把 ElevenLabs 的语音合成技术接入 Inworld 平台。游戏开发者借此能为 AI NPC 生成更逼真的动态语音,角色可以根据不同剧情场景和玩家互动实时调整声调与表达,提升沉浸感。
D-ID 与 ElevenLabs 宣布达成合作,将后者的优质 AI 语音接入 Creative Reality studio。Pro 订阅用户可以一键为数字人添加 9 款精选语音,搭配严肃、开心等 4 种表情,让口播视频的语气更自然、情绪更饱满。
据报道 OpenAI 已向美国专利商标局提交「GPT-5」商标申请。该申请涵盖自然语言处理、语音识别、文本生成及神经网络开发等范围。不过这并不意味着新模型很快就会面世,CEO Sam Altman 此前表示仍需完成大量安全审计工作。
新闻应用 Artifact 联手 Speechify 推出 AI 朗读功能。应用内提供超过 30 种英文声音,甚至包括 Snoop Dogg 和格温妮丝·帕特洛的名人声线,支持最高 4.5 倍速及后台播放。该功能目前已在 iOS 上线,Android 随后推出。
Meta 宣布与印度电子和信息技术部旗下 India AI 签署合作备忘录。双方将推动 Llama、MMS 等开源模型落地印度生态,重点构建印度本土及低资源语言数据集,并计划设立卓越中心扶持 AI 初创企业。
Spotify CEO Daniel Ek 在财报会上透露,继 AI DJ 之后,公司正考虑用生成式 AI 总结播客内容并自动生成音频广告。广告主未来能以极低成本批量测试成千上万条音频广告。此外,Spotify 7 月 20 日公布的一项新专利显示,其还在研发能表达愤怒、讽刺甚至耳语的多情感语音合成技术。
Twitch 上线名为 trumporbiden2024 的 24 小时 AI 辩论直播,AI 驱动的特朗普与拜登不仅能模仿原声和神态,还互相人身攻击并嘲弄弹幕观众。这场实验吸引了超 10 万人观看,虽然言论频频陷入荒诞失控,但也展示了 AI 拟真模仿的高成熟度。
加州创业者 Roger Anderson 将 ChatGPT 与语音克隆结合,推出每年 25 美元的 Jolly Roger 防骚扰服务。系统提供碎嘴老头、忙乱宝妈等不同人设,能识别按键并胡扯拖延诈骗电话长达 15 分钟,让骗子白白浪费时间与通话成本。
ElevenLabs 推出全新 Voice Library 声音库功能。创作者不仅可以在平台克隆或通过提示词设计专属声音,还能直接浏览和选用库中海量的多样化声线,覆盖播客、有声书及视频配音等多种创作场景。
周四,YouTube 在 VidCon 宣布引入 Google 孵化器旗下的 AI 配音团队 Aloud。该工具能先转写视频文稿供人工校对,再自动翻译并合成配音;目前正与数百位创作者测试英语、西语及葡语,后续还计划加入创作者声纹克隆与口型同步。
全英俱乐部宣布联合 IBM 为本届温网比赛集锦引入 AI 语音解说与字幕。该功能基于 IBM watsonx 平台,结合球场追踪数据生成贴合网球语境的解说。服务将在温网官方 App 和网站提供,也是迈向全场比赛 AI 解说的一步。
Meta 公布语音生成模型 Voicebox。它基于上下文学习,只需 2 秒音频样本就能模仿音色合成语音,支持 6 种语言的风格迁移,还能像橡皮擦一样切除杂音并重生成无缝语音。
ElevenLabs 推出 AI Speech Classifier 语音检测工具。用户无需登录,上传音频即可分析前 1 分钟内容,并获得由其自研技术生成的概率;如果是,还会匹配声音库里的近似声音。不过目前该工具对 Eleven v3 生成的声音识别尚不稳定。
Mercedes-Benz 宣布在美国启动测试,通过 Microsoft Azure OpenAI Service 将 ChatGPT 接入 MBUX 语音系统。除了开关车窗和导航,它还能自然对答应答、推荐菜谱或介绍沿途景点。对话数据会经官方云端脱敏存储。
Microsoft 宣布为 Bing Chat 上线语音命令功能。用户在对话框点击麦克风即可语音提问,AI 也会用语音朗读回复,目前支持英语、普通话、法语和德语。同时,单次对话轮次上限从 20 轮放宽到 30 轮,单日上限升至 300 轮。