어도비 MultiFoley 공개: 고양이 울음을 사자 포효로 바꾸는 영상 음향 AI

영상 편집에서 화면 속 동작에 맞춰 효과음(폴리, Foley)을 하나하나 배치하는 작업은 상당한 시간과 노력이 들어가는 과정입니다.

어도비 리서치(Adobe Research)가 영상 속 동작을 인식하고 멀티모달 제어가 가능한 오디오 생성 연구 '멀티폴리(MultiFoley)'를 공개했습니다.

고양이 울음소리를 사자 포효로 바꾸다

MultiFoley의 핵심은 영상의 움직임을 정확하게 이해하면서도 사용자가 소리의 특성을 자유롭게 바꿀 수 있다는 점입니다.

연구진의 시연에 따르면, 타자기를 치는 동작에 맞춰 피아노 소리가 나게 하거나 고양이가 입을 벌릴 때 사자의 포효가 울리도록 연출할 수 있습니다.

또한 기존에 보유하고 있는 효과음(SFX)을 영상 속 동작 타이밍에 맞춰 정밀하게 자동 동기화하는 기능도 지원합니다.

왜 중요한가

영상 효과음 작업은 크리에이터들에게 대표적인 번거로운 병목 구간이었습니다. MultiFoley는 아직 어도비 리서치의 연구 단계라 지금 당장 편집 툴에서 써볼 수는 없습니다.

하지만 단순히 AI가 알아서 배경음을 깔아주는 것과 달리, 창작자가 원하는 소리로 치환하고 영상에 맞춰 완벽히 타이밍을 맞추는 제어권을 제공한다는 점에서 매우 영리한 접근이라고 우리는 평가합니다.

향후 이 기능이 프리미어 프로 같은 실제 편집 도구에 탑재된다면 오디오 후반 작업 시간을 획기적으로 줄여줄 것으로 보입니다.