AudioX：6GB未満で動画のカットを認識し自動配音する統合音声モデル

映像制作において、カットごとに効果音を配置して波形を微調整する作業は最も手間がかかります。

カット位置を捉えて音を当てる軽量モデル

新たにコードが公開された統合音声モデル「AudioX」は、テキストや画像、無音動画から直接サウンドや楽曲を生成します。テキストからの音楽生成自体の音質はBGMレベルにとどまるものの、マルチモーダルな同期性能で強みを発揮します。

無音映像を渡すと、シーンの切り替えを認識してカットのタイミングに合わせた効果音を付与できます。さらに「2発の銃声、無音、波の音」といった時系列の指示に忠実に従うほか、音源の欠落部分を自然に埋めるインペインティングや楽曲の続きを補完する生成にも対応します。

何より、モデルサイズが6GB未満に抑えられており、一般的なコンシューマー向けGPU環境でもローカルで動かせます。

なぜ重要か

AudioXのアプローチは実用性に振り切っています。純粋な音楽生成クオリティで競合と勝負するのではなく、ひとつの軽量モデルで映像と音の同期や修復を完結させる道を選びました。

個人クリエイターや小規模なゲーム開発者にとって、外部サービスに依存せず手元のマシンでカット合わせの仮当て効果音を揃えられる価値は大きいです。

音質そのものよりも「タイミングの正確さ」に焦点を当てた、現場目線の使い勝手を追求したモデルと言えます。