Nvidia、音声生成AIモデル「Fugatto」発表　ピアノ音の歌声化や未体験サウンド生成に対応

ピアノで弾いたフレーズを、テキスト指示ひとつでバイオリンの音色やリアルな人間の歌声に変身させる。あるいは列車の走行音を徐々に壮大なオーケストラ演奏へとモーフィングさせる。

米NVIDIAは、プロンプトから音楽や音声を自在に生成・編集できる新たなAIモデル「Fugatto」（Foundational Generative Audio Transformer Opus 1）を発表しました。同社はこれを「世界で最も柔軟なサウンドマシン」であり、音声処理の万能スイスアーミーナイフだとアピールしています。

しかし、驚異的なデモを公開した一方で、NVIDIAはこのモデルを一般公開せず手元に留める判断を下しました。

25億パラメータの音響トランスフォーマー

ゼロから楽曲を一曲まるごと吐き出す既存の生成AIと異なり、Fugattoの強みは「既存の音声を自在に変形できる」点にあります。

楽曲ミックスからボーカルだけを抽出したり、MIDIメロディを人間の歌唱サンプルに変換したり、歌声のアクセントや感情のニュアンスを怒りや喜びに変化させることが可能です。異なる2つの音響効果を重ね合わせることで、かつて聴いたことのない新しいサウンドスケープを合成することもできます。

技術面では、フルモデルのパラメータ数は25億。32基のNVIDIA H100 Tensor コアGPUを搭載したDGXシステムを使い、1年以上の歳月をかけてトレーニングされました。

学習にはオープンソース由来の数百万の音声サンプルが用いられています。開発にはインド、ブラジル、中国、ヨルダン、韓国など多様な地域の研究者が参加しており、多言語や多様なアクセントに対応する能力が高められました。

同社応用ディープラーニング研究担当バイスプレジデントのBryan Catanzaro氏はロイターに対し、かつてシンセサイザーが音楽制作を一変させたように、生成AIも音楽やゲーム制作に革命的な新機能をもたらすと語っています。

発表しても一般公開を見送る理由

これほど完成度の高いツールでありながら、NVIDIAは開発者向けの提供すら予定していません。

Catanzaro氏は、生成技術には悪用のリスクが常に付きまとうため、安全に公開する手法を慎重に議論している段階だと説明しています。

背景にあるのは安全性への懸念だけでなく、過熱する著作権問題です。今年6月にはソニー、ワーナー、ユニバーサルなどの大手レコード会社が、生成AIスタートアップのSunoとUdioを大規模な著作権侵害で提訴しました。また米俳優のスカーレット・ヨハンソン氏がOpenAIに対して声の無断模倣を抗議した件など、エンタメ業界とAIの関係は極めて神経質な局面にあります。

GPUの供給元として君臨するNVIDIAにとって、自社開発の生成モデルで法的トラブルに巻き込まれるのは避けたいシナリオです。

なぜ重要か

Fugattoが示したアプローチは、AI音楽制作が単なる「全自動のガチャ」から「プロの制作ワークフローに寄り添う編集ツール」へと進化しつつあることを物語っています。

プロの音楽制作者やサウンドデザイナーにとって、曲全体を勝手に作られるよりも、特定のトラックの音色を差し替えたり、MIDIを仮歌に変換したりできる機能のほうが実用価値は何倍も高いと言えます。デジタル・オーディオ・ワークステーション（DAW）の操作が、将来的にテキスト指示へと置き換わっていく未来を強く予感させます。

一方で、どんなに革新的な技術であってもユーザーが試せない状態では机上の空論にとどまります。安全対策と著作権リスクを恐れるあまり研究室に閉じ込めるNVIDIAの判断は賢明ではあるものの、クリエイターから見れば歯がゆい状況です。

私たちは、このモデル自体が今すぐ手に入らなくても、音声編集のパラダイムシフトが確実に近づいていると見ています。今後は「一曲まるごと生成するAI」ではなく、「既存の音をどう自在に操れるか」を競うフェーズに入ったと言えるでしょう。