Nvidia 公布音频大模型 Fugatto：把钢琴声变人声，还能合成全新音效

想象一下，你随便弹了一段断断续续的钢琴旋律，只要打一行字，它就能变成一段悠扬的小提琴独奏，或者直接变成真人哼唱的歌声。甚至，你能让轰鸣的火车汽笛声慢慢演变成交响乐团的合奏，或者把一段欢快的歌声一键调成愤怒的腔调。

这就是英伟达最新公布的声音生成模型 Fugatto。它的全名叫 Foundational Generative Audio Transformer Opus 1，英伟达直接把它形容成声音领域的「瑞士军刀」，甚至自称是世界上最灵活的声音机器。

但这台神奇的机器，你现在还摸不到。英伟达做完了，演示也发了，却选择先把网线按住不发。

25 亿参数的声音变形金刚

和市面上那些只能根据提示词从零「摇」出一首完整歌曲的 AI 不同，Fugatto 最大的卖点在于「改造已有声音」。

它可以听懂现有的音频片段，然后进行各种跨界转换。比如从混音里提取人声、把 MIDI 旋律转成逼真的真人演唱采样、或者直接给歌手换个口音和情绪。英伟达甚至演示了将两种完全不同的声音效果叠加，合成出从未存在过的声音景观。

根据英伟达公布的技术细节，完整版的 Fugatto 参数量为 25 亿。为了训练它，团队用了包含 32 块 H100 Tensor Core GPU 的 DGX 系统，前后耗时超过一年。

它的训练集来自开源数据的数百万音频样本。英伟达研究团队成员来自中国、印度、巴西、约旦和韩国等多个国家，多元的背景也让模型在处理多语言和多种口音时表现得更自然。

英伟达应用深度学习研究副总裁 Bryan Catanzaro 在接受路透社采访时打了个比方：就像过去五十年电子合成器彻底改变了音乐一样，生成式 AI 也会给音乐、游戏制作以及普通人的创作带来全新的可能。

炫技很惊艳，但为什么不开源？

既然这么厉害，英伟达为什么选择藏着掖着？答案很简单：风险太大。

Catanzaro 直言，任何生成技术都伴随着风险，因为大家可能会拿它去生成一些开发者不希望看到的东西。团队目前还在讨论如何安全地把模型推向公众，因此眼下完全没有向开发者开放的计划。

这里的顾虑不只是安全，更是版权这颗随时会炸的地雷。今年 6 月，索尼、华纳和环球等音乐巨头就联手起诉了 Suno 和 Udio 背后的初创公司，指控它们以难以想象的规模侵犯版权。

好莱坞和 AI 公司的关系同样剑拔弩张。早前演员斯嘉丽·约翰逊就公开指责 OpenAI 涉嫌克隆她的声音，并威胁要采取法律行动。在各方神经紧绷的节骨眼上，作为芯片卖家的英伟达显然不想惹火上身。

为什么重要

从技术和产品形态来看，Fugatto 代表了音频生成的一个重要转向。以前的音乐 AI 像是在玩盲盒，输入一段词，模型给你吐出一首三分钟的歌，好听与否全凭运气，专业音乐人很难把它放进实际工作流。

而 Fugatto 展现出来的能力更像是传统数字音频工作站（DAW）的自然语言插件。提取人声、转换音色、修改情绪、MIDI 变声，这些都是现代音乐人和播客创作者日常最耗时的琐碎工序。如果这些能力被整合进编曲软件，创作者哪怕不会拉小提琴，也能用键盘哼唱转出逼真的弦乐声部。

但英伟达的尴尬之处也在于此。它展示了一个极其诱人的未来，却因为版权和滥用风险无法落地。我们认为，英伟达这一步走得很谨慎但也略显被动：卖算力芯片时它可以置身事外，但一旦自己下场做前沿基础模型，就不得不直面版权泥潭。

看起来，短时间内普通创作者还无法在工作流中用上 Fugatto。但它释放的信号很明确：下一代音乐软件的竞争，不再只是拼算法能生成多好听的整曲，而是看谁能用自然语言真正接管复杂的音频编辑工程。