跳到正文
IFAI

AIGC

Adobe 推出 MultiFoley:能把猫叫变成狮吼,给视频精准配音效

首次发布 传播指数 32

Adobe Research 推出多模态视频音效生成技术 MultiFoley。它能识别画面动作,把打字机声换成钢琴声、让猫叫变成狮吼,并将现有音效精准对齐视频时间点。这意味着视频拟音制作无需逐帧手动对轨,创意换声变得极其简单。

Adobe 推出 MultiFoley:能把猫叫变成狮吼,给视频精准配音效
图:x.com

视频剪辑里最折磨人的活儿之一,就是对音效。不仅要费劲到处找素材,还得在时间线上手动逐帧对齐。

Adobe Research 带来了一项名为 MultiFoley 的新研究。这是一种具备多模态控制能力的视频音效生成方法。

替猫咪配上狮子吼

说白了,它不仅能看懂视频画面里的动作,还能让创作者随心所欲替换和调整声音的风格。

根据公开的演示,你可以让敲打打字机的动作发出钢琴的声音,或者让画面里一只小猫张嘴时发出狮子般的咆哮。

除了这种创意风格迁移,MultiFoley 还能把现有的音效精准对齐到视频的动作时间轴上,省去手动拖动音频波形对点的繁琐步骤。

为什么重要

影视拟音向来是极度耗时的工作。虽然 MultiFoley 目前还是 Adobe Research 的一项研究成果,普通用户暂时还无法在剪辑软件里直接上手,但它展示的方向非常务实。

我们认为,相比很多一键生成整段音频、但根本无法微调的生成式工具,MultiFoley 最聪明的地方在于把控制权交还给了创作者。它不仅能做跨界的声音趣味替换,还能解决音效对齐这一最现实的痛点。

如果未来这项能力被整合进 Premiere 等剪辑软件,很可能会彻底重塑视频后期的音效制作流程。

来源 (1)

  1. [1]
    @icreatelife(在新标签页打开)原文twitter.com

每日 AI 内容精选