#MMHNet

15:01研究拡散指数 36

ソニーが動画音響生成「MMHNet」発表：Mamba採用で5分超の同期効果音に対応

ソニーの研究チームは動画から効果音を自動生成するアーキテクチャ「MMHNet」を発表した。階層型ネットワークとMambaを組み合わせ、5分を超える長尺動画でも映像とぴったり合う音響を生成可能にした。「短い素材で学習し長く出力する」手法により、物体の衝突や画面転換時の音ズレを抑えている。