Spotify 被曝研发 AI 口播广告:克隆主播声音,不用本人录音
据外媒报道,Spotify 正在研发一项 AI 技术,计划克隆播客主播声音来自动生成口播广告。主播无需亲自录音,即可针对不同地区受众定制广告乃至多语种版本。Spotify 方面回应称正探索相关应用,但目前尚无正式消息公布。
据外媒报道,Spotify 正在研发一项 AI 技术,计划克隆播客主播声音来自动生成口播广告。主播无需亲自录音,即可针对不同地区受众定制广告乃至多语种版本。Spotify 方面回应称正探索相关应用,但目前尚无正式消息公布。
Meta 开源 Massively Multilingual Speech(MMS)系列模型与代码。它将语音识别和合成支持拓展到 1100 多种语言,并能识别 4000 多种口语。团队通过多语种圣经朗读音频解决了小语种数据匮乏的问题,希望以此减缓全球濒危语言的消亡。
Apple 预告了一批无障碍新功能。其中 Personal Voice 允许有失语风险的用户对着麦克风朗读 15 分钟,就能在设备本地训练出逼真的个人合成语音,全程不上传云端;放大器还加入了指向即读功能。新工具预计年内随系统更新推送。
快餐连锁品牌 Wendy's 宣布与 Google 合作推出 Wendy's FreshAI。该系统基于 Google 大模型定制,能听懂「JBC」等菜单黑话,计划 6 月在俄亥俄州哥伦布市的汽车餐厅实测,现场仍有员工监督。
Humane 联合创始人 Imran Chaudhri 的 TED 完整演讲公布,首次公开演示其研发的无屏幕 AI 穿戴设备。这枚胸夹式小设备无需配对手机,支持掌心投影交互、邮件语音汇总,甚至能用克隆声音做实时翻译。最值得关注的是其替代手机的野心,但实际交互仍留下不少疑问。
Google 联合人工耳蜗厂商 Cochlear 等机构,研发基于 AI 的个性化助听技术。该项目通过 AI 识别并分离特定声源,帮助听障人群在餐馆或公共交通等嘈杂环境下听清对话,目前正处于联合研发阶段。
本周,Grimes 推出 AI 语音软件 Elf.Tech,允许创作者上传录音并转换成她的音色。生成的歌声可以直接用于制作新曲,前提是将曲目 50% 的录音版税分给她。最值得关注的是,她选择将个人声线主动「开源」变现,把版权纠纷转变成合作分成。
据 5 月 6 日报道,Amazon Music 计划为播客引入 AI 生成的精彩片段和章节划分。该功能基于其去年底收购的音频初创公司 Snackable AI,方便听众无需听完全篇就能直接跳转到关键讨论点。Snackable AI 创始人现已入职掌舵该项目。
ElevenLabs 推出全新语音合成模型 Eleven Multilingual v1,新增法、德、印地、意、波兰、葡萄牙和西语 7 种语言支持。该模型能在切换语言时保留说话人独特的音色与原口音,并兼容声音克隆。不过非英语输入下的数字与缩写有时仍会默认按英文发音。
艺术家 Grimes 在社交平台宣布,任何使用其 AI 声音制作的成功歌曲,都可以与她五五平分版税。她表示自己没有唱片合约与法律束缚,任何人都可以免责使用其声音,自己乐于支持开源艺术并成为新技术的小白鼠。
前苹果员工创立的 Humane 在 TED 演讲中演示了其穿戴式 AI 设备。该设备无需连接手机,依靠语音和手势交互,能将通话等信息投影到手掌上显示,并现场展示了实时法语翻译。更多细节将在未来数月公布。
消息,得州一对夫妇遭遇 AI 语音拟真诈骗,骗子克隆其儿子声音谎称车祸重伤急需保释,骗走 5000 美元。法医专家指出骗子仅凭社交平台公开音频就能生成声音。面对类似紧急要钱的通话,挂断后用原联系方式核实至关重要。
Google 公布通用语音模型 USM 的最新进展。该模型拥有 20 亿参数,使用 1200 万小时语音数据训练,目前已支持 100 多种语言的自动识别与翻译,且已接入 YouTube 自动生成字幕。这是其打造支持 1000 种语言大模型体系的关键一步。
OpenAI 正式向开发者开放 GPT-3.5 Turbo 与 Whisper 的 API。新上线的 gpt-3.5-turbo 定价为每千 token 0.002 美元,比原有 GPT-3.5 便宜 10 倍;语音转文字模型 Whisper 每分钟 0.006 美元。最关键的是,OpenAI 承诺 API 提交的数据默认不再用于模型训练。
音频工具开发商 Voicemod 宣布完成 1450 万美元融资。团队正融合此前收购的 Voctro Labs 技术,将传统数字信号变声升级为生成式 AI 实时换声与「以歌变歌」功能。这相当于给日常语音戴上滤镜,让普通人在游戏和连麦中也能借 AI 声音实时换声甚至开唱。
Spotify 推出测试版功能 DJ。它结合 OpenAI 的生成式 AI 与收购自 Sonantic 的拟真语音技术,根据个人偏好选曲,并在切歌时穿插音乐背景解说。听众点击 DJ 按钮即可一键换流派,首发面向美加 Premium 用户。
本周,工会 SAG-AFTRA 证实 Apple 与有声书平台 Findaway 同意停止使用会员录音训练 AI。此前平台协议被曝暗藏条款允许 Apple 提取音频训练模型,引发配音员抗议声音被盗用于砸自己饭碗。目前双方已暂停调取文件,工会正协商后续补偿与限制。
据报道,多位 TikTok 用户发布视频吐槽麦当劳得来速的 AI 语音点餐机器人频频出错。有人要水和冰淇淋却被录成黄油与番茄酱,甚至有人被机器人点出了 250 美元的麦乐鸡大单。虽然快餐业在积极试水自动化,但现实表明 AI 接管餐厅还早得很。
亚马逊 CEO Andy Jassy 表示,生成式 AI 确实令人兴奋,但亚马逊长期以来都在自研类似的大型模型。面对外界关于其在生成式 AI 领域落后于微软的担忧,亚马逊表示正致力于让 Alexa 具备更强的对话能力,并寻求与初创 AI 公司展开合作。
Twitch 直播节目《Nothing, Forever》已连续开播超一个月,全天候播放 AI 生成的《宋飞正传》仿作。其台词由 GPT-3 实时编写,语音与镜头调度也全由算法接管。虽然角色时常穿模、笑话无厘头,但团队借此展现了一场永不落幕的自动化内容试验。