アリババ、動画から効果音を自動生成する「PrismAudio」をオープンソース公開

PrismAudioは、アリババがオープンソース化した環境音・効果音生成モデルです。無音動画を入力するだけで、映像の動きにタイミングを合わせたリアルな音声を自動生成します。

思考してから音を鳴らす軽量モデル

AI生成動画に効果音を合わせる作業は手間がかかりますが、PrismAudioはギターを弾く指の動きなど、映像内の動作に正確に同期した効果音を自動で作り出します。

仕組みとしては、強化学習と思考の連鎖（CoT）を組み合わせ、映像の内容を一度推論・理解してから音声を生成する設計を採用しています。これにより、映像と音のズレを防ぎ、自然な音質を実現しています。

パラメータ数はわずか5.18億と非常にコンパクトで、9秒の音声をわずか0.63秒で生成します。MM AudioやHunyuan Video Foleyといった数十億パラメータ規模の競合モデルと比べても、生成速度だけでなく複数のベンチマークスコアで上回っています。

なぜ重要か

無音の動画クリップに効果音を付けたいクリエイターや、AI動画制作のパイプラインを組んでいる人にとって、いま最も試す価値があるオープンソースモデルです。

何十億ものパラメータを持つ巨大モデルが扱いにくかった分野で、思考プロセスを挟むことで小規模モデルでも高い精度と実用的な速度を両立できることを実証した点が優れています。