Tencentが音声基盤モデル「AuK」を公開：自然言語で音声を自在に編集

AuKは、テキストエディタで文章を書き直すかのように、自然言語の指示だけで既存の音声を編集できるTencentの1.5Bパラメータ音声基盤モデルです。

音声合成からノイズ除去、話者分離までをひとつのプロンプト体系に統合しており、コードとモデルの重みが完全にオープンソースとして公開されています。高精度なベースモデル「AuK」に加えて、4ステップで高速推論が可能な蒸留モデル「AuK-Flash」も同時に提供されています。

何ができるのか

従来の音声AIの多くはゼロから音声を生成するだけでしたが、AuKの真骨頂はすでにある音声へのピンポイントな編集にあります。

ひとつ目は発話内容の編集です。録音の一部を言い間違えた場合でも、音声を再録する必要はありません。音声を指定して「特定の単語を別の単語に置き換える」「不要な文を削除する」「新しい文を途中に挿入する」といった指示を出すだけで、話者の声色や抑揚を保ったまま自然につなぎ合わせます。

ふたつ目は感情や音響のコントロールです。淡々とした語りを悲しみや怒りのトーンに変えたり、通常の声をささやき声に変換したりできます。音程や話速、音量の微調整はもちろん、方言の訛りを抑えたり、笑い声や息遣い、咳などを付け足したり消したりすることも可能です。

みっつ目はノイズ除去と音源分離です。周囲の雑音や部屋の残響をプロンプトひとつで消し去り、クリアな声に修復できます。音楽のミックスからボーカルだけを抜き出したり、複数人の会話から特定の話者の声だけを抽出することもできます。

もちろん数秒の音声から声を再現するゼロショット音声クローンや、参照音声なしで声のイメージを指定して喋らせる音声生成にも対応しています。

動かし方と動作環境

AuKは拡散TransformerとQwen2.5-Omni-3Bエンコーダーを組み合わせて動作します。自然言語での指示をスムーズにするため、入力された要求を適切な推論コマンドに整形してくれるPrompt Enhancerツールも用意されています。

モデルのサイズは約6GBとコンパクトで、エンコーダーのメモリ最適化によって消費メモリが約7.5 GiB削減されました。CPUオフロード機能を使えば、VRAM消費量を約25 GiBから17 GiB前後まで抑えられるため、一般的なPC向けのGPUでも動かせます。

動作環境の選択肢も豊富です。GradioによるWeb UIやComfyUIノードのほか、audio.cppによるGGUFオフライン推論、Apple Silicon向けのMLX、サーバー向けのvLLM-OmniやSGLang-Omniにも対応しています。手軽に試したい場合はHugging FaceやModelScopeのデモページですぐに体験できます。

なぜ重要か

ポッドキャスターや動画クリエイター、ゲーム開発者にとって、AuKは作業効率を劇的に変えるツールになります。言葉をひとつ言い間違えるたびに再収録していた手間が、テキストの指示ひとつで修正できるようになるためです。音声コンテンツを扱う人は今すぐ試す価値があります。

音声合成、ノイズ除去、ボーカル抽出、部分修正というバラバラだった処理を、1.5Bという軽量なひとつのモデルにまとめた設計は非常に合理的です。指示のニュアンスによっては音のつながりにわずかな違和感が残るケースもあると見ていますが、オープンソースでここまでの柔軟性を実現した意義は極めて大きいと言えます。