알리바바, 무음 영상에 효과음 입히는 'PrismAudio' 오픈소스 공개

PrismAudio는 알리바바가 오픈소스로 공개한 음향 효과 생성 모델로, 무음 영상을 입력하면 화면 속 동작에 정확히 맞아떨어지는 효과음을 자동으로 입혀줍니다.

생각한 뒤 소리를 내는 경량 모델

AI로 만든 무음 영상에 일일이 효과음을 맞추는 작업은 꽤 번거롭습니다. PrismAudio는 영상을 분석해 기타 줄을 튕기는 순간처럼 화면 속 타이밍에 꼭 맞춘 사운드를 자연스럽게 생성합니다.

핵심은 강화학습과 생각의 사슬(Chain-of-Thought)을 결합한 구조입니다. 모델이 먼저 영상의 맥락을 분석하고 추론한 뒤 소리를 만들어내기 때문에 영상과 음향의 싱크는 물론 사운드의 풍부함도 잘 살려냅니다.

크기는 5.18억 파라미터로 매우 가볍지만, 9초 분량의 오디오를 단 0.63초 만에 뽑아낼 만큼 빠릅니다. 수십억 파라미터 규모인 MM Audio나 Hunyuan Video Foley 같은 기존 경쟁 모델들과 비교해도 생성 속도와 주요 벤치마크 점수 모두 앞섭니다.

왜 중요한가

무음 영상에 효과음을 빠르게 채워 넣어야 하는 영상 제작자나 AI 파이프라인을 구축하는 개발자라면 지금 당장 써볼 만한 오픈소스 도구입니다.

무거운 모델이 대세인 오디오 생성 분야에서, 가벼운 모델에 추론 과정을 접목해 훨씬 빠른 속도와 높은 싱크 정확도를 동시에 증명해 냈다는 점이 인상적입니다.