알리바바, 무음 영상에 효과음 입히는 'PrismAudio' 오픈소스 공개
알리바바가 무음 영상을 분석해 동작에 맞는 효과음을 자동 생성하는 'PrismAudio'를 오픈소스로 공개했습니다. 강화학습과 생각의 사슬을 결합해 먼저 추론한 뒤 소리를 만들며, 5.18억 파라미터 크기로 9초 분량의 오디오를 0.63초 만에 생성해 속도와 벤치마크 전반에서 대형 경쟁 모델들을 앞섭니다.
알리바바가 무음 영상을 분석해 동작에 맞는 효과음을 자동 생성하는 'PrismAudio'를 오픈소스로 공개했습니다. 강화학습과 생각의 사슬을 결합해 먼저 추론한 뒤 소리를 만들며, 5.18억 파라미터 크기로 9초 분량의 오디오를 0.63초 만에 생성해 속도와 벤치마크 전반에서 대형 경쟁 모델들을 앞섭니다.