메타, 소리 분리 AI 'SAM Audio' 공개: 영상 클릭과 텍스트로 원하는 소리 추출

사진 속 물체를 한 번의 클릭으로 따내던 Meta의 SAM이 이번에는 소리의 영역으로 넘어왔습니다. 복잡한 소리 속에서 원하는 음원만 골라 분리해내는 'SAM Audio'가 공개되었습니다.

그동안 음성 분리 작업은 용도마다 파편화되어 있었습니다. 음성 추출용 툴, 잡음 제거용 알고리즘, 악기별 트랙 분리 플러그인이 제각각 나뉘어 있었는데, SAM Audio는 이를 하나의 멀티모달 모델로 통합했습니다.

영상 속 기타를 클릭하면 기타 소리만 추출

SAM Audio의 가장 큰 특징은 사람이 소리를 인지하는 방식 그대로 명령을 내릴 수 있다는 점입니다.

예를 들어 밴드 공연 영상에서 화면 속 기타를 마우스로 한 번 클릭하기만 해도 해당 기타 소리만 정확하게 분리해냅니다. 텍스트 프롬프트를 입력해 야외 촬영 영상의 도로 소음을 지울 수도 있고, 팟캐스트 녹음 중 개 짖는 소리가 난 구간을 지정해 전체 파일에서 해당 소음을 한꺼번에 제거하는 것도 가능합니다.

모델의 핵심에는 플로우 매칭 기반의 디퓨전 트랜스포머 아키텍처가 자리 잡고 있습니다. 입력된 오디오와 프롬프트를 인코딩한 뒤, 분리하고자 하는 목표 음원과 나머지 잔여 트랙을 각각 생성해내는 방식입니다.

귀 역할을 하는 PE-AV와 평가 기준 공개

영상 속 피사체와 소리를 일치시키기 위해 Meta는 시청각 인지 인코더인 PE-AV도 함께 선보였습니다.

지난 4월 오픈소스로 공개된 모델을 확장한 것으로, 프레임 단위의 영상 특징을 추출해 오디오 표현과 정렬시킵니다. PE-AV가 귀 역할을 하고 SAM Audio가 두뇌 역할을 맡아 작업을 처리하는 구조입니다.

Meta는 두 연구 논문과 함께 실제 환경 평가 벤치마크인 SAM Audio-Bench, 자동 평가 모델인 SAM Audio Judge를 함께 배포했습니다. 사용자들은 신규 플랫폼인 Segment Anything Playground에서 직접 파일을 업로드해 기능을 체험해볼 수 있습니다.

왜 중요한가

영상 편집자나 팟캐스트 제작자에게 이번 모델의 실질적인 유용성은 매우 큽니다. 여러 플러그인을 오가며 노이즈를 잡거나 소리를 나누던 번거로운 후작업을 텍스트 입력이나 화면 클릭 한 번으로 끝낼 수 있어, 지금 바로 웹 플레이그라운드에서 테스트해볼 가치가 충분합니다.

산업 측면에서는 Meta가 컴퓨터 비전에서 구축한 SAM 생태계의 성공 방정식을 오디오 분야로 완벽히 이식하려는 움직임으로 읽힙니다. 단일 기능 중심의 기존 상용 오디오 보정 소프트웨어들에게는 상당한 위협이 될 수밖에 없습니다.

시각 정보와 오디오 분리를 유기적으로 엮어낸 방식은 매우 영리해 보입니다. 다만 디퓨전 트랜스포머 특성상 연산 자원 소모가 적지 않을 텐데, 기존의 가벼운 디지털 신호 처리 툴에 비해 로컬 환경이나 실시간 편집 환경에서 얼마나 기민하게 돌아갈지는 앞으로 검증이 필요한 부분입니다.