소니, 비디오 음향 생성 모델 MMHNet 공개: 맘바 기반으로 5분 이상 싱크 유지

영상 편집에서 효과음(Foley) 작업은 상당한 시간과 수작업을 요구합니다. 짧은 영상이라면 프레임 단위로 소리를 맞출 만하지만, 길이가 길어지면 기존 AI 모델들은 싱크가 밀리거나 소리가 왜곡되는 한계를 보여왔습니다.

소니 연구팀은 2월 24일 논문 사전 공개 사이트인 아카이브(arXiv)를 통해 5분 이상의 긴 영상에서도 정밀하게 싱크를 유지하는 비디오 음향 생성 프레임워크 'MMHNet'을 공개했습니다.

Mamba와 계층형 네트워크로 구현한 '짧은 학습, 긴 생성'

Hunyuan Video Foley나 MM Audio 같은 기존 비디오 기반 오디오 생성 기술은 수초 단위의 짧은 클립에서는 준수한 성능을 냅니다. 하지만 영상이 길어지면 전통적인 트랜스포머 구조의 계산 비용이 급증하고, 장면 전반의 분위기와 세부 프레임의 움직임을 동시에 맞추지 못해 음향이 어긋나기 시작합니다.

소니는 이를 해결하기 위해 멀티모달 계층형 네트워크에 비인과적 맘바(non-causal Mamba) 구조를 접목했습니다. 긴 호흡의 시계열 문맥을 가볍게 처리하는 맘바의 강점을 활용해 5분 이상의 긴 오디오를 생성하면서도 일관성을 잃지 않도록 설계했습니다.

가장 인상적인 점은 '짧은 데이터로 학습해 긴 영상을 처리하는(train short and test long)' 방식을 성공시켰다는 점입니다. 긴 동영상-오디오 쌍 데이터셋을 대규모로 학습시키지 않고도, 짧은 구간 학습만으로 5분 이상의 긴 테스트 영상에 안정적으로 일반화해 냅니다.

실험 결과에서도 MMHNet은 기존 비디오-오디오 벤치마크를 넘어서는 성능을 입증했습니다. 특히 공이 테이블에 튕기는 순간 같은 타격 지점의 소리 싱크와 카메라 전환에 맞춘 배경음 변화가 매우 자연스럽다는 평가를 받습니다.

왜 중요한가

영상 제작자나 숏폼 크리에이터에게 효과음 자동화는 제작 시간을 획기적으로 줄여줄 수 있는 도구입니다. 5분 분량의 영상에서도 음향 싱크가 밀리지 않는다면 애니메이션이나 독립 영화 후반 작업의 효율이 크게 올라갑니다. 다만 현재는 논문만 공개된 상태이며, 오픈소스 가중치나 바로 써볼 수 있는 데모 서비스는 아직 없습니다.

기술적으로는 막대한 연산 자원으로 긴 데이터를 무작정 학습시키는 방식 대신, 아키텍처 개선을 통해 효율을 극대화했다는 점에서 매우 영리한 접근입니다.

우리는 영상 생성 AI가 점차 롱폼으로 진화함에 따라, 시각 정보에 반응하는 정밀한 오디오 동기화가 차세대 경쟁의 핵심이 될 것으로 봅니다. 소니가 보여준 맘바 기반의 계층형 정렬 방식은 향후 멀티모달 오디오 모델들이 참고할 중요한 기술적 이정표가 될 것입니다.