跳到正文
IFAI

AIGC

Google 釋出音樂模型 Lyria:做 30 秒流行樂,還能防偽打水印

首次發布 傳播指數 49

Google DeepMind 聯手 YouTube 釋出音樂模型 Lyria。同步測試的 Dream Track 允許創作者輸入主題,即可生成帶有 Charlie Puth 等 9 位歌手人聲與風格的 30 秒配樂。所有音訊均內建 SynthID 防偽水印,目前僅限少數創作者內測。

圖:deepmind.google

以前大家用 AI 生成音樂,最頭疼的就是人聲一加進來就露餡,或者生成的曲子聽幾秒還行,整首歌根本談不上連貫。

Google DeepMind 聯手 YouTube 拿出了他們目前最頂級的音樂生成模型 Lyria,順便啟動了兩項實驗:一項是專門給 YouTube Shorts 用的 Dream Track,另一項是面向專業音樂人的創作工具套件。

他們甚至拉來了 9 位主流歌手,用合規授權的方式把歌手的人聲和風格放進了生成工具裡。

敲一段文字,生成 30 秒大牌原聲

音樂這東西比語音複雜太多。每一秒鐘都塞滿了節拍、音符、人聲和聲與各種樂器。AI 想要維持幾小節甚至整段的連貫性,往往非常困難。

根據 Google DeepMind 的介紹,Lyria 專攻的就是同時搞定人聲伴奏、曲風轉換與音樂延續,同時讓使用者更細緻地控制輸出的表演風格。

落到實際玩法上,YouTube Shorts 啟動的 Dream Track 實驗最直接。目前一小批美國創作者可以在做短影片時,輸入一段提示詞主題,再從輪播介面選一位歌手。

系統就會自動生成一段最長 30 秒的短影片配樂。歌詞、伴奏旋律,加上這位歌手風格的 AI 人聲,一次性全吐出來。

這次加入合作的 9 位音樂人包括 Charlie Puth、T-Pain、John Legend、Sia、Charli XCX、Demi Lovato、Troye Sivan、Alec Benjamin 和 Papoose。

Charlie Puth 評價說,YouTube 明白需要通過負責任的方式合作開發,目的是加速創意而不是取代音樂人;一直熱衷新技術的 T-Pain 也覺得聯手探索未來是個很好的起點。

除了給普通創作者做背景樂,DeepMind 還在做更專業的創作套件。比如創作者哼唱一段旋律,AI 就能把它變成一段圓號獨奏;或者彈幾下 MIDI 鍵盤的和絃,就能即時轉化成逼真的唱詩班合唱。

讓人耳聽不見的水印:SynthID 音訊版

AI 生成音樂最大的隱患,除了版權就是以假亂真。這次 Google 拿出了剛拓展到音訊領域的 SynthID 水印技術。

所有由 Lyria 生成的內容,都會被直接打上 SynthID 水印。這個水印的特點是人耳完全聽不見,絲毫不會破壞聽覺體驗。

它的原理是把音訊聲波轉換成二維的頻譜演變圖,再把特徵資訊嵌入其中。Google 稱這種做法在音訊領域此前幾乎沒有過。

最關鍵的是抗折騰。即便這段音訊經過 MP3 壓縮、混入了噪聲,或者被故意加速、減速,SynthID 依然能把水印檢測出來,甚至能識別出一首歌裡到底哪幾段是由 Lyria 拼湊生成的。

為什麼重要

我們認為,Google 和 YouTube 這次最大的聰明之處,不在於模型本身有多驚豔,而在於他們給 AI 音樂打了個極其剋制且合規的樣板。

過去一年整個音樂產業都在圍剿未經授權的 AI 翻唱和盜版克隆。Google 顯然不想踩這顆雷。他們沒有直接放開全網隨便克隆,而是走正規授權,找了 9 位頭部歌手共建,把使用場景死死限制在 30 秒以內的短影片配樂。

對創作者來說,短影片配樂從此多了一條不侵權的捷徑,想配一段大牌聲線只要幾秒鐘;對專業製作人而言,用哼唱生成樂器編曲的做法,也確實能大幅降低打草稿的門檻。

但隱患依然存在。看起來這種模式目前完全依賴平臺和唱片業的私下協議,一旦生成音樂氾濫,版稅如何分成依然沒有明朗的公認機制。而且 30 秒的實驗形態雖然安全,卻也說明長篇連貫音樂生成在工業級落地上面臨的複雜現實。

來源 (2)

  1. [1]
    deepmind.google(在新分頁開啟)原文deepmind.google
  2. [2]
    blog.youtube(在新分頁開啟)報導blog.youtube

話題追蹤Google 音樂生成式 AI 的發展

這個話題的歷次新聞,最新的在上面。

  1. Google 上線 MusicFX:輸入提示詞生成 70 秒音樂,還配了作詞工具
  2. Google 推出音樂生成工具 MusicFX:輸入文字做曲,自帶 SynthID 水印
  3. Google 釋出音樂模型 Lyria:做 30 秒流行樂,還能防偽打水印本則

每日 AI 內容精選