VocalRender：歌詞とMIDI音符から48kHzのリアルな歌声を直接合成

VocalRender は、楽譜情報から直接 48 kHz の高音質な歌声を合成できるオープンソースの歌声合成システムです。

従来の音声合成では、音素ごとに発声時間を細かく調整したり、ピッチ曲線を自分で描いたりする必要がありました。VocalRender はそうした作業を不要にし、作曲者が普段扱う「歌詞」「MIDI の音高」「音符の長さ」「テンポ」だけを入力として受け取ります。

何ができるのか

入力に必要なのは、歌詞と MIDI 音符、そして声質を指定するための 2〜8 秒程度の参照音声クリップだけです。

システムは歌詞の音節と音符をインターリーブ表現で結びつけるため、1 つの音節に複数の音符がまたがるメリスマも自然に歌い上げます。まず自己回帰トランスフォーマーが全体の抑揚や歌唱タイミングの大枠を予測し、続いて拡散モデルが高精度なピッチ、音色、子音の立ち上がりなどの局所的な音響特徴を補完します。

公開された重みは通常版「VocalRender」と上位版「VocalRender-Pro」の 2 種類です。どちらも同じアーキテクチャですが、Pro 版は大規模な実際の歌唱データでより長く学習されており、表現力やピッチの安定性がさらに向上しています。

動かし方とスペック

コードとモデルは Apache-2.0 ライセンスで公開されており、前処理、学習、推論スクリプトのすべてがリポジトリに含まれています。

モデルのサイズはそれぞれ約 9.5 GB で、一般的なコンシューマー向け GPU の VRAM に収まる規模です。リポジトリをクローンして Hugging Face から重みを取得すれば、付属のサンプル楽譜と参照音声を使ってすぐに 48 kHz の WAV ファイルを書き出せます。

ブラウザ上で操作したい人向けに、ピアノロールや ABC / MusicXML 形式のインポートに対応した Gradio ベースの Web デモも用意されています。なお、公開されているチェックポイントは中国語データで学習されているため、他言語の歌声を作りたい場合は付属のスクリプトを使って独自データを学習させる必要があります。

なぜ重要か

DTM や作曲を行うクリエイターにとって、仮歌制作のハードルを劇的に下げるツールになり得ます。これまでのボーカロイド調声のような膨大な手作業なしに、MIDI と歌詞を用意するだけで数分で自然なボーカルトラックが手に入ります。

発話タイミングの予測と拡散モデルによるディテール生成を組み合わせた設計は非常に合理的です。他言語モデルを自分で学習する手間はあるものの、推論から学習コードまで完全にオープン化された実用的な音楽制作ツールとして、試してみる価値は十分にあります。