푸단대·텐센트, 2K 비디오·오디오 동시 생성 모델 'Prism' 오픈소스 공개
푸단대학교와 텐센트 훈위안, 저장대학교 연구진이 네이티브 2K 해상도를 지원하는 비디오·오디오 동시 생성 프레임워크 'Prism'을 오픈소스로 공개했습니다. 동적 희소 어텐션을 통해 소리가 발생하는 영역과 움직임이 빠른 부분에 연산력을 집중시켜 훈련 속도를 2.5배 높였습니다. 현재 허깅페이스에서 프리뷰 가중치와 코드가 제공됩니다.
复旦大学
푸단대, 텍스트로 실시간 음성·영상 아바타 생성하는 'Hallo-Live' 공개
푸단대 연구진이 텍스트 기반 실시간 오디오-비디오 아바타 생성 프레임워크 Hallo-Live를 발표했다. 엔비디아 H200 GPU 2대 환경에서 20.38 FPS의 속도와 0.94초 지연 시간을 기록하며, 상호작용형 디지털 휴먼의 싱크 불일치와 지연 문제를 크게 개선했다.
이미지 속 글자 왜곡 잡는 ‘GlyphPrinter’ 공개…한중일 문자 정밀 렌더링
이미지 생성 시 문자가 뭉개지거나 획이 빠지는 현상을 해결하는 오픈소스 프레임워크 'GlyphPrinter'가 공개됐다. 국소 영역 선호도 최적화를 적용해 한국어, 일본어, 중국어 등 복잡한 문자는 물론 석비 음각과 특수 기호까지 정밀하게 그려낸다. 코드와 가중치 모두 공개됐다.