오디오X 공개: 6GB 미만으로 영상 컷 인식해 자동 효과음 입힌다

영상 편집 과정에서 컷 전환마다 폴리 사운드와 배경음을 일일이 맞추는 작업은 늘 번거롭습니다.

영상 컷을 인식해 맞춤 사운드를 입히는 경량 모델

새롭게 코드가 공개된 통합 오디오 모델 오디오X(AudioX)는 텍스트와 이미지, 무음 영상을 입력받아 알맞은 사운드와 음악을 만들어냅니다. 순수 텍스트 기반 음악 생성의 음질은 배경음악 수준이지만, 멀티모달 정렬 능력은 돋보입니다.

무음 영상을 넣으면 화면 편집 지점을 스스로 파악해 컷 전환 타이밍에 맞춰 효과음을 배치합니다. 또한 기관총 연사 후 침묵, 이어서 파도 소리가 나오는 식의 순차적인 묘사도 정밀하게 따라붙습니다. 중간이 빈 오디오를 매끄럽게 채우는 복원(Inpainting)이나 특정 장르로의 확장 생성도 지원합니다.

무엇보다 모델 크기가 6GB 미만이라 일반 소비자용 GPU에서도 로컬로 가볍게 구동할 수 있습니다.

왜 중요한가

오디오X는 스튜디오급 고음질 음악 경쟁 대신 제작 워크플로의 실용성에 집중했습니다. 효과음과 배경음, 오디오 편집을 위해 여러 툴을 오가며 타임라인을 맞추던 작업을 하나의 가벼운 모델로 묶어낸 셈입니다.

1인 창작자나 소규모 인디 개발사라면 값비싼 클라우드 없이도 로컬 환경에서 영상 컷에 맞춘 사운드 디자인을 빠르게 처리할 수 있습니다.

무조건 거대한 모델로 음질을 높이기보다, 타이밍 동기화에 집중하는 것이 실제 작업 환경에서 더 유용할 수 있음을 잘 보여줍니다.