소니, 비디오 음향 생성 모델 MMHNet 공개: 맘바 기반으로 5분 이상 싱크 유지
소니 연구팀이 비디오 음향 생성 프레임워크 MMHNet을 발표했다. 계층형 네트워크와 맘바(Mamba) 아키텍처를 결합해 5분이 넘는 장편 영상에서도 정밀하게 싱크가 맞는 오디오를 생성한다. 짧은 영상으로 학습해 긴 영상을 처리할 수 있어 타격감과 장면 전환 음향의 일치도를 크게 높였다.
소니 연구팀이 비디오 음향 생성 프레임워크 MMHNet을 발표했다. 계층형 네트워크와 맘바(Mamba) 아키텍처를 결합해 5분이 넘는 장편 영상에서도 정밀하게 싱크가 맞는 오디오를 생성한다. 짧은 영상으로 학습해 긴 영상을 처리할 수 있어 타격감과 장면 전환 음향의 일치도를 크게 높였다.