跳到正文
IFAI

AI科研

Google 釋出音樂生成模型 MusicLM:文字直接變編曲,但暫不開放

首次發布 傳播指數 34

Google 研究人員公佈新 AI 模型 MusicLM,能將文字描述轉化為高保真音樂。它用 28 萬小時音訊訓練,甚至能串聯多個提示詞生成數分鐘樂曲。不過測試發現約 1% 的內容直接複製了訓練音訊,出於版權風險考量,Google 暫不打算將其公開發布。

Google 釋出音樂生成模型 MusicLM:文字直接變編曲,但暫不開放
圖:techcrunch.com

如果你讓 AI 畫一張圖或寫一段程式碼,現在已經不算稀奇。但如果你對它說「來一段迷幻爵士,中間加一段令人難忘的薩克斯獨奏」,它能端出什麼?

Google 在一篇學術論文裡公佈了他們的新成果:MusicLM。這是一個能把文字直接變成音樂的模型,不管你給出的風格多冷門、提示詞多刁鑽,它都能憑空生成出來。甚至有人在社交平臺上直呼,這比 ChatGPT 還讓他震驚,因為 Google「幾乎把音樂生成給搞定了」。

聽起來很完美,但 Google 同時宣佈了一件事:他們暫時不打算把這個模型公開發布。

28 萬小時訓練出來的「全能樂手」

做音樂生成,Google 並不是第一家。之前有把頻譜圖視覺化的 Riffusion、開源社群的 Dance Diffusion、OpenAI 的 Jukebox,還有 Google 自己的 AudioML。但受限於技術架構和訓練集,這些前輩要麼音質粗糙,要麼編曲結構稀爛,聽兩秒就出戲。

MusicLM 靠著 28 萬小時的音樂資料硬生生砸出了質變。它生成的音訊取樣率達到 24 kHz,不僅能理解「90 年代柏林鐵克諾,低音深沉、鼓點強勁」這種複雜指令,還能捕捉樂器獨奏的微妙語氣與氛圍感。

更強的是它的多模態和連續敘事能力。你哼兩句調子、吹一段口哨,它能順著你的旋律接續編曲。給它一張圖片配上文字,它能給畫面配樂。

它甚至能按順序讀取一系列指令,比如從「冥想時刻」一路演進到「起床」「慢跑」再到「全力衝刺」,直接生成一段長達幾分鐘、情緒層層推進的音樂故事,聽起來就像給電影量身定製的原聲帶。你還能給這個 AI 樂手設定「技術水平」,或者讓它模擬特定地域和歷史年代的演奏風格。

不過,它還談不上完美。有些樣本帶有明顯的音訊失真,那是生成模型的常見通病。如果讓它合成人聲,雖然能做出合唱和聲,但歌詞聽起來要麼像塑膠英語,要麼純粹是胡言亂語,像是好幾個人聲被強行揉在一起的合成怪物。

1% 的直接複製,讓 Google 拔了網線

既然效果這麼好,為什麼藏著不放?答案很現實:版權與侵權風險。

Google 研究團隊在論文里老老實實做了一項測試,結果發現了一個要命的數字:MusicLM 生成的音樂里,大約有 1% 是直接照搬了訓練集裡的現成音樂。

在文字領域,1% 的重合可能只是一兩句俗套話;但在音樂行業,1% 的旋律或音軌直接撞車,就足以招來唱片公司的天價訴訟。研究團隊明確承認,這種把受版權保護的創意內容挪為己用的風險真實存在,在搞定這些風險之前,他們絕不敢輕易開放。

事實上,音樂版權圈子對 AI 早已草木皆兵。早在 2020 年,Jay-Z 的唱片公司就向 YouTube 發出版權警告,要求下架用 AI 模仿 Jay-Z 嗓音翻唱的影片。音樂出版商協會(Music Publishers Association)的法律實習生 Eric Sunray 在白皮書中直言,這類把受版權保護的音樂吸進去再拼貼輸出的系統,涉嫌侵犯美國版權法裡的複製權。

科技博主 Andy Baio 則指出,AI 生成的音樂目前很可能被歸為衍生作品,商業化落地完全是一片未知水域,未來大機率只能依賴法院按個案逐一判決。

為什麼重要

對創作者和開發者來說,MusicLM 證明了高質量文本生成音樂在技術上已經徹底跑通。如果未來它或者同類產品開放,最大的受益者是獨立遊戲開發者、影片剪輯師和小型播客團隊。以前為一段幾十秒的背景音樂,要麼翻爛免版稅曲庫,要麼花大價錢找人定製;以後只需幾句話或者一段哼唱,就能在幾秒鐘內拿到完美卡點的配樂。

但現階段,我們認為普通使用者根本不用急著找平替來試用。人聲胡言亂語、旋律偶爾失真,說明它離真正的成品流行歌還有很長一段路。更致命的是商用風險:只要模型有 1% 的機率在「抄襲」,沒有任何一家正規商業公司敢把這種音訊放進自己的商業產品或影視作品裡。

對整個行業而言,Google 這次「只發論文不放產品」的謹慎做法,其實給全行業提了個醒。它很聰明地守住了技術聲譽,展示了自己的肌肉,又把最燙手的版權官司擋在了門外。但這種保守也可能留下隱患:就像當年影像生成領域一樣,大廠因為合規縮手縮腳,往往會被完全不在乎版權風險的開源專案在幾個月內彎道超車。

音樂生成的技術門檻已經被 MusicLM 踏平了,接下來真正要打的,不是演算法戰,而是一場由唱片巨頭、法庭和版權庫共同參與的利益拉鋸戰。

來源 (1)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com

每日 AI 內容精選