ElevenLabs 获 8000 万美元 B 轮融资:上线配音工作台,声音也能变现
ElevenLabs 宣布完成 8000 万美元 B 轮融资,跻身独角兽。公司同步推出支持整部电影翻译与制作的 Dubbing Studio,以及允许创作者出租 AI 克隆声音获利的交易市场。此外,移动端朗读应用也已开启内测排队。
ElevenLabs 宣布完成 8000 万美元 B 轮融资,跻身独角兽。公司同步推出支持整部电影翻译与制作的 Dubbing Studio,以及允许创作者出租 AI 克隆声音获利的交易市场。此外,移动端朗读应用也已开启内测排队。
三星发布 Galaxy S24 系列手机,全面整合 Google AI 能力。新机结合端侧 Gemini Nano 与云端模型,支持即圈即搜、实时通话翻译和生成式图片编辑。这标志着端云混合 AI 首次大规模落地主流旗舰手机,新机定于 1 月 31 日开售。
Adobe 为 Premiere Pro 带来新音频工作流。新版能用 AI 自动给音频分类打标签,并提供交互式淡入淡出滑块;去年 9 月测试的「人声增强」也将在 2 月向所有用户开放,能一键消除嘈杂背景噪音。
周日晚,巴基斯坦前总理伊姆兰·汗的政党发布了一段 4 分钟的竞选视频,利用 ElevenLabs 的 AI 声音克隆技术复刻其声音,为身在狱中的他举行线上集会。音频基于其亲笔笔记,集会吸引超 50 万人观看,巴基斯坦当局随后封锁了主要社交平台。
Meta 开放音频生成基础研究模型 Audiobox 的试用 Demo。该模型支持零样本语音合成(Zero shot TTS)、文本生成音效以及音频修复填充(Infilling)等能力,现在即可直接在线体验。
Meta 公布全新语音翻译系统 Seamless,包含两大模型:延迟仅约两秒的流式翻译 SeamlessStreaming,以及能保留语速、节奏与情绪的 SeamlessExpressive。模型均基于 SeamlessM4T v2 架构构建,Meta 已将模型与对齐工具全量开源。
ElevenLabs 推出初创扶持计划 ElevenLabs Grants。团队员工少于 25 人的早期创业公司可申请为期 3 个月、每月 1100 万字符的免费语音与配音额度,首期预计发放超 1000 亿字符。扶持期结束后可享企业套餐大额折扣或随时取消。
在 AWS re:Invent 大会上,AWS 宣布为其语音转写服务 Amazon Transcribe 引入语音基础模型。新版本基于数百万小时无标注音频训练,支持语言从 39 种扩充到 100 种,准确率提升 20% 到 50%,还能自动为客服通话生成摘要。
OpenAI 宣布向所有免费用户开放 ChatGPT 移动端语音对话功能。用户在手机 App 里点击耳机图标,就能用语音直接提问并收听回答。这项功能 9 月推出时仅限付费会员;官方还在演示中借「给 778 名员工订披萨」调侃了当时的董事会风波。
Amazon 宣布在 Alexa 和 Fire TV 业务部门裁员数百人。高管 Daniel Rausch 在内部备忘录中解释,裁员是为了将内部资源集中投入到提升 Alexa 的生成式 AI 能力上,以配合业务优先级的调整。
Microsoft 在 Ignite 2023 上推出 Azure AI Speech 文本转语音替身公开预览版,上传照片和脚本即可生成逼真的说话视频。配套的 Personal voice 仅凭一分钟音频样本就能复刻声音。为防滥用,定制替身和声音复刻需单独申请审核,且强制添加 AI 水印与书面授权。
Adobe 展示了实验性 AI 工具 Project Sound Lift。用户导入录音后,AI 能自动将人声、掌声、笑声或交通噪音拆解成独立音轨,方便直接导入 Premiere Pro 单独精调。不过它目前只是「Sneak」预览项目,暂未正式发布。
Meta 发布音频生成模型 Audiobox。作为 Voicebox 的后继者,它不仅能用文本提示词直接生成语音、音效和环境音,还支持「语音+文本」双输入来自由调整语气与场景。目前该模型仅面向受选研究人员开放申请,并同步上线了交互 Demo。
ElevenLabs 推出最新语音生成模型 Turbo v2。新模型将语音生成延迟缩短至约 400 毫秒,速度比初代快两倍以上,音质仍与 Multilingual V2 持平。它还为网络电话服务新增了 mulaw 8khz 格式,多语言支持也已在路上。
Doritos 推出专为 PC 玩家设计的 AI 降噪软件 Doritos Silent。该工具与 Smooth Technology 耗时半年研发,通过学习数千条咀嚼音频,在语音连麦中实时消除吃薯片的清脆杂音。目前仅支持 Windows 系统,旨在解决开黑时队友嚼零食干扰游戏的问题。
据 Variety 报道,斯嘉丽·约翰逊正对 AI 应用 Lisa AI 的开发商 Convert Software 采取法律行动。该应用在一段 22 秒的广告中擅自用 AI 克隆她的声音推销生成功能;尽管片尾写着与本人无关,其律师明确表示绝不姑息。
ElevenLabs 推出面向企业的一体化 AI 语音平台,拆分为 ElevenAgents 与 ElevenCreative 两个方向。企业既能构建并部署多语言对话智能体处理客服与调度,也能生成高拟真语音与音效,并原生打通 Salesforce 和 Zendesk 等业务系统。
披头士乐队宣布最后一首四人合作单曲《Now and Then》将于 11 月 2 日发布。制作团队利用导演彼得·杰克逊团队的机器学习技术,从 1970 年代一段老磁带中干净地剥离出约翰·列侬的人声。这是科技帮老艺术家补齐半个世纪遗憾的一次经典示范。
Boston Dynamics 展示了一项概念验证:将 ChatGPT、BLIP-2 视觉模型与 ElevenLabs 语音合成接入机器狗 Spot。机器人不仅能看懂周围环境沿途解说,还能根据设定扮演讽刺、搞笑等性格回答提问。最值得关注的是大模型在实体机器人上展现出的自主联想能力,不过目前每次回答仍有约 6 秒延迟。
D-ID 正式上线 iOS 与 Android 版移动应用。用户上传一张单人照片或挑选预设数字人,输入台词并选择 119 种语言和语气,就能生成最长 10 分钟的说话视频。移动端订阅起售价为每月 5.99 美元,提供 14 天免费试用。