InstructAV2AV 공개: 텍스트 한 줄로 영상과 음성을 동시 편집한다

지금까지 AI로 영상을 편집할 때 가장 까다로웠던 부분은 단연 ‘소리’였습니다.

프롬프트를 입력해 영상 속 인물의 옷이나 얼굴을 자연스럽게 바꿔도, 오디오 트랙은 그대로 남아 있어 결국 별도의 오디오 툴에서 효과음이나 대사를 다시 생성해 일일이 싱크를 맞춰야 했습니다.

연구진은 텍스트 지시어 한 줄로 영상 화면과 오디오를 동시에 편집하는 엔드투엔드 프레임워크 ‘InstructAV2AV’를 발표했습니다.

마스크 없이 텍스트 한 줄로 화면과 대사 수정

InstructAV2AV의 핵심은 비디오 프레임과 사운드를 분리된 파일이 아닌 단일 통합 데이터로 다룬다는 점입니다.

사용자가 자연어 명령을 내리면 인물 교체, 대사 수정, 특정 물체나 효과음의 추가 및 삭제가 한 번에 처리됩니다. 번거롭게 마스크 영역을 직접 그릴 필요 없이 대상 요소만 정확히 바뀌며, 원본 영상의 배경과 주변 환경 소음은 흔들림 없이 그대로 보존됩니다.

이를 위해 연구팀은 8만 개의 고품질 편집 쌍으로 구성된 최초의 대규모 오디오-비디오 편집 데이터셋 ‘InsAVE-80K’를 자체 구축해 학습에 활용했습니다.

시각과 청각을 동기화하는 구조

기술적으로는 Ovi, Wan2.2, T5 등의 생성 백본 구조를 기반으로 사전 학습된 생성 능력을 차용했습니다.

원본 영상의 맥락을 안정적으로 유지하기 위해 소스 오디오-비디오 입력을 노이즈 잠재 코드와 결합했으며, 새 명령 수행과 기존 장면 보존 간의 균형을 잡는 소스-인스트럭션 게이티드 어텐션(source-instruction gated attention) 메커니즘을 도입했습니다.

실험 결과, 2개 평가 벤치마크에 걸친 11개 주요 지표 전반에서 기존 분리 편집 방식들을 뛰어넘는 성능을 보였습니다.

왜 중요한가

우리는 InstructAV2AV가 멀티모달 편집 패러다임을 ‘단순 비주얼 생성’에서 ‘시청각 통합 제어’로 전환시키는 중요한 신호탄이라고 봅니다.

영상 제작자와 크리에이터에게 이는 편집 소프트웨어와 DAW(디지털 오디오 워크스테이션)를 오가며 수작업으로 입모양과 효과음을 맞추던 노동에서 벗어날 가능성을 열어줍니다. 번역 더빙이나 부분 재촬영 같은 후반 작업의 진입 장벽이 획기적으로 낮아질 수 있습니다.

업계 관점에서도 비주얼만 따로 만들고 오디오를 덧붙이는 식의 분리형 파이프라인은 점차 설 자리를 잃게 될 것입니다. 완전한 멀티모달 환경에서는 시각과 청각의 동시 확산(Joint Diffusion)이 기본 요건이 될 가능성이 높습니다.

다만 본 프로젝트는 현재 학술 논문 및 연구 단계에 머물러 있습니다. InsAVE-80K로 기반을 다졌음에도 불구하고, 복잡한 다자간 대화나 극단적인 음향 간섭 환경에서 완벽한 입모양 싱크와 공간 음향을 일정하게 유지할 수 있을지는 실제 상용화 환경에서 더 검증되어야 합니다.