구글 딥마인드, 무음 영상에 효과음과 대사 입히는 'V2A' 기술 공개
구글 딥마인드가 비디오-투-오디오(V2A) 기술 연구 성과를 공개했다. 확산 모델을 기반으로 영상 픽셀과 텍스트 프롬프트를 분석해 수작업 정렬 없이 사운드트랙, 효과음, 대사를 영상과 자동 동기화한다. 현재 입 모양 동기화 등 개선 과제가 남아 있어 추가 안전성 검증을 거친 뒤 공개될 예정이다.
구글 딥마인드가 비디오-투-오디오(V2A) 기술 연구 성과를 공개했다. 확산 모델을 기반으로 영상 픽셀과 텍스트 프롬프트를 분석해 수작업 정렬 없이 사운드트랙, 효과음, 대사를 영상과 자동 동기화한다. 현재 입 모양 동기화 등 개선 과제가 남아 있어 추가 안전성 검증을 거친 뒤 공개될 예정이다.