跳到正文
IFAI

AIGC

Google 发布音乐模型 Lyria:做 30 秒流行乐,还能防伪打水印

首次发布 传播指数 49

Google DeepMind 联手 YouTube 发布音乐模型 Lyria。同步测试的 Dream Track 允许创作者输入主题,即可生成带有 Charlie Puth 等 9 位歌手人声与风格的 30 秒配乐。所有音频均内置 SynthID 防伪水印,目前仅限少数创作者内测。

图:deepmind.google

以前大家用 AI 生成音乐,最头疼的就是人声一加进来就露馅,或者生成的曲子听几秒还行,整首歌根本谈不上连贯。

Google DeepMind 联手 YouTube 拿出了他们目前最顶级的音乐生成模型 Lyria,顺便启动了两项实验:一项是专门给 YouTube Shorts 用的 Dream Track,另一项是面向专业音乐人的创作工具套件。

他们甚至拉来了 9 位主流歌手,用合规授权的方式把歌手的人声和风格放进了生成工具里。

敲一段文字,生成 30 秒大牌原声

音乐这东西比语音复杂太多。每一秒钟都塞满了节拍、音符、人声和声与各种乐器。AI 想要维持几小节甚至整段的连贯性,往往非常困难。

根据 Google DeepMind 的介绍,Lyria 专攻的就是同时搞定人声伴奏、曲风转换与音乐延续,同时让使用者更细致地控制输出的表演风格。

落到实际玩法上,YouTube Shorts 启动的 Dream Track 实验最直接。目前一小批美国创作者可以在做短视频时,输入一段提示词主题,再从轮播界面选一位歌手。

系统就会自动生成一段最长 30 秒的短视频配乐。歌词、伴奏旋律,加上这位歌手风格的 AI 人声,一次性全吐出来。

这次加入合作的 9 位音乐人包括 Charlie Puth、T-Pain、John Legend、Sia、Charli XCX、Demi Lovato、Troye Sivan、Alec Benjamin 和 Papoose。

Charlie Puth 评价说,YouTube 明白需要通过负责任的方式合作开发,目的是加速创意而不是取代音乐人;一直热衷新技术的 T-Pain 也觉得联手探索未来是个很好的起点。

除了给普通创作者做背景乐,DeepMind 还在做更专业的创作套件。比如创作者哼唱一段旋律,AI 就能把它变成一段圆号独奏;或者弹几下 MIDI 键盘的和弦,就能实时转化成逼真的唱诗班合唱。

让人耳听不见的水印:SynthID 音频版

AI 生成音乐最大的隐患,除了版权就是以假乱真。这次 Google 拿出了刚拓展到音频领域的 SynthID 水印技术。

所有由 Lyria 生成的内容,都会被直接打上 SynthID 水印。这个水印的特点是人耳完全听不见,丝毫不会破坏听觉体验。

它的原理是把音频声波转换成二维的频谱演变图,再把特征信息嵌入其中。Google 称这种做法在音频领域此前几乎没有过。

最关键的是抗折腾。即便这段音频经过 MP3 压缩、混入了噪声,或者被故意加速、减速,SynthID 依然能把水印检测出来,甚至能识别出一首歌里到底哪几段是由 Lyria 拼凑生成的。

为什么重要

我们认为,Google 和 YouTube 这次最大的聪明之处,不在于模型本身有多惊艳,而在于他们给 AI 音乐打了个极其克制且合规的样板。

过去一年整个音乐产业都在围剿未经授权的 AI 翻唱和盗版克隆。Google 显然不想踩这颗雷。他们没有直接放开全网随便克隆,而是走正规授权,找了 9 位头部歌手共建,把使用场景死死限制在 30 秒以内的短视频配乐。

对创作者来说,短视频配乐从此多了一条不侵权的捷径,想配一段大牌声线只要几秒钟;对专业制作人而言,用哼唱生成乐器编曲的做法,也确实能大幅降低打草稿的门槛。

但隐患依然存在。看起来这种模式目前完全依赖平台和唱片业的私下协议,一旦生成音乐泛滥,版税如何分成依然没有明朗的公认机制。而且 30 秒的实验形态虽然安全,却也说明长篇连贯音乐生成在工业级落地上面临的复杂现实。

来源 (2)

  1. [1]
    deepmind.google(在新标签页打开)原文deepmind.google
  2. [2]
    blog.youtube(在新标签页打开)报道blog.youtube

话题追踪Google 音乐生成式 AI 的发展

这个话题的历次新闻,最新的在上面。

  1. Google 上线 MusicFX:输入提示词生成 70 秒音乐,还配了作词工具
  2. Google 推出音乐生成工具 MusicFX:输入文字做曲,自带 SynthID 水印
  3. Google 发布音乐模型 Lyria:做 30 秒流行乐,还能防伪打水印本条

每日 AI 内容精选