SoulX-Singer：わずか数秒の音声で歌声クローン、3GB未満でCPU動作も対応

ある人物の声を歌わせるには、これまで大量のクリーンなボーカルトラックを用意し、時間をかけてモデルを追加学習させるのが一般的だった。だがその敷居が、一気に引き下げられた。

Soul-AILabはゼロショット歌声合成モデル「SoulX-Singer」をオープンソースで公開した。特徴は極めて明快で、対象人物のわずか数秒の話し声と参考音源を与えるだけで、追加学習なしにその声で自在に歌声を生成できる。

話し声を入力するだけでハッピーバースデーを歌い出す

SoulX-Singerの使い方は直感的だ。例えば数秒間低音の男性が朗読している音声をプロンプトとして入力し、普通の「ハッピーバースデー」の歌唱音声を参考として渡すと、その低い声のままバースデーソングを歌い上げる。

公開されたデモでは、オバマ元米大統領のスピーチ音声を数秒入力し、往年のポピュラーソングのメロディを歌わせる実験も行われた。ボーカルはラップからヘビーメタルまで対応し、原曲のニュアンスを保ちつつ指定の音色へ変換できる。

既存の曲を歌わせるだけでなく、オリジナル曲の制作にも対応している。自分で適当にメロディを鼻歌で歌って音程情報（F0輪郭）を読み取らせ、そこに任意の声をあてはめて歌わせることが可能だ。さらにMIDIノートによるピッチやリズムの精密なコントロールにも対応している。

3GB未満の軽量設計でCPUでも動作

今回のアナウンスが注目を集めた背景には、オープンソースとしての手軽さがある。推論コードとモデルウェイトはApache 2.0ライセンスでGitHubおよびHugging Faceに公開された。

学習には、中国語普通話、英語、広東語にわたる4万2000時間以上のボーカル、歌詞、音符のアライメントデータが用いられている。これにより、日常の話し声サンプルから異言語の歌声を自然に出力するクロスリンガル合成にも対応する。

なにより実用的なのはその軽さだ。モデルサイズは3GB未満に抑えられており、ハイエンドなGPUを用意せずとも、ローエンドGPUや一般的なPCのCPU上でローカル動作させることができる。WebUIも付属しており、ブラウザから手軽に試せる環境が整っている。

なぜ重要か

私たちは、SoulX-Singerが音楽プロトタイピングの現場を大きく変えると考えている。インディーズの作曲家やクリエイターがデモ音源を作る際、わざわざ仮歌ボーカルを発注しなくても、自らハミングしたメロディに好みの声を当てはめて即座に楽曲の完成形を検証できる。

業界全体で見れば、歌声合成が一部の大規模商用サービスの手を離れ、完全なローカル完結型へと移行しつつあることを示している。4万時間を超える多言語学習の成果をわずか3GB足らずのモデルに落とし込み、低スペック環境でも実用レベルで動かせる設計は非常に賢いアプローチだ。

一方で、肖像権や声の権利保護を巡る課題は避けられない。数秒の演説や動画音声から誰の声でも簡単に歌声クローンが作れてしまう以上、著作権侵害や著名人のディープフェイク音源の拡散に対する懸念は一段と高まるだろう。公式は権利尊重を呼びかけているが、ウェイトがローカルに配られた以上、その利用を外部から制御するのは容易ではない。