Nvidia 公佈音訊大模型 Fugatto：把鋼琴聲變人聲，還能合成全新音效

想像一下，你隨便彈了一段斷斷續續的鋼琴旋律，只要打一行字，它就能變成一段悠揚的小提琴獨奏，或者直接變成真人哼唱的歌聲。甚至，你能讓轟鳴的火車汽笛聲慢慢演變成交響樂團的合奏，或者把一段歡快的歌聲一鍵調成憤怒的腔調。

這就是輝達最新公佈的聲音生成模型 Fugatto。它的全名叫 Foundational Generative Audio Transformer Opus 1，輝達直接把它形容成聲音領域的「瑞士軍刀」，甚至自稱是世界上最靈活的聲音機器。

但這臺神奇的機器，你現在還摸不到。輝達做完了，演示也發了，卻選擇先把網線按住不發。

25 億引數的聲音變形金剛

和市面上那些只能根據提示詞從零「搖」出一首完整歌曲的 AI 不同，Fugatto 最大的賣點在於「改造已有聲音」。

它可以聽懂現有的音訊片段，然後進行各種跨界轉換。比如從混音裡提取人聲、把 MIDI 旋律轉成逼真的真人演唱取樣、或者直接給歌手換個口音和情緒。輝達甚至演示了將兩種完全不同的聲音效果疊加，合成出從未存在過的聲音景觀。

根據輝達公佈的技術細節，完整版的 Fugatto 引數量為 25 億。為了訓練它，團隊用了包含 32 塊 H100 Tensor Core GPU 的 DGX 系統，前後耗時超過一年。

它的訓練集來自開源資料的數百萬音訊樣本。輝達研究團隊成員來自中國、印度、巴西、約旦和韓國等多個國家，多元的背景也讓模型在處理多語言和多種口音時表現得更自然。

輝達應用深度學習研究副總裁 Bryan Catanzaro 在接受路透社採訪時打了個比方：就像過去五十年電子合成器徹底改變了音樂一樣，生成式 AI 也會給音樂、遊戲製作以及普通人的創作帶來全新的可能。

炫技很驚豔，但為什麼不開源？

既然這麼厲害，輝達為什麼選擇藏著掖著？答案很簡單：風險太大。

Catanzaro 直言，任何生成技術都伴隨著風險，因為大家可能會拿它去生成一些開發者不希望看到的東西。團隊目前還在討論如何安全地把模型推向公眾，因此眼下完全沒有向開發者開放的計劃。

這裡的顧慮不只是安全，更是版權這顆隨時會炸的地雷。今年 6 月，索尼、華納和環球等音樂巨頭就聯手起訴了 Suno 和 Udio 背後的初創公司，指控它們以難以想像的規模侵犯版權。

好萊塢和 AI 公司的關係同樣劍拔弩張。早前演員斯嘉麗·約翰遜就公開指責 OpenAI 涉嫌克隆她的聲音，並威脅要採取法律行動。在各方神經緊繃的節骨眼上，作為晶片賣家的輝達顯然不想惹火上身。

為什麼重要

從技術和產品形態來看，Fugatto 代表了音訊生成的一個重要轉向。以前的音樂 AI 像是在玩盲盒，輸入一段詞，模型給你吐出一首三分鐘的歌，好聽與否全憑運氣，專業音樂人很難把它放進實際工作流。

而 Fugatto 展現出來的能力更像是傳統數字音訊工作站（DAW）的自然語言外掛。提取人聲、轉換音色、修改情緒、MIDI 變聲，這些都是現代音樂人和播客創作者日常最耗時的瑣碎工序。如果這些能力被整合進編曲軟體，創作者哪怕不會拉小提琴，也能用鍵盤哼唱轉出逼真的絃樂聲部。

但輝達的尷尬之處也在於此。它展示了一個極其誘人的未來，卻因為版權和濫用風險無法落地。我們認為，輝達這一步走得很謹慎但也略顯被動：賣算力晶片時它可以置身事外，但一旦自己下場做前沿基礎模型，就不得不直面版權泥潭。

看起來，短時間內普通創作者還無法在工作流中用上 Fugatto。但它釋放的訊號很明確：下一代音樂軟體的競爭，不再只是拼演算法能生成多好聽的整曲，而是看誰能用自然語言真正接管複雜的音訊編輯工程。