바이트댄스 'DMAD' 공개: 영상 생성 단계 4스텝으로 대폭 단축
바이트댄스가 빠른 시각 생성을 위한 적대적 증류 기법 'DMAD'를 발표했다. 분포 매칭 방식을 활용해 기존에 20~30스텝이 걸리던 MiniMax-H3 등의 영상 디퓨전 과정을 단 4스텝으로 줄여, 품질 저하 없이 생성 속도를 크게 끌어올렸다.
Wan2.1
깨진 3D 렌더링 복구하는 AI, 오픈소스 'FixAnything' 공개
연구진이 3D 렌더링 결함을 전문적으로 다듬는 'FixAnything'을 오픈소스로 공개했다. 3DGS나 NeRF 기반 장면에서 카메라 시점 이동 시 생기는 구멍과 노이즈를 비디오 확산 모델을 활용해 매끄럽고 일관된 영상으로 복원한다.
2D 영상 점 하나 클릭하면 3D 위치·회전 추적하는 'ProxyPose' 공개
토론토대 연구진이 일반 2D 영상 속 단 하나의 픽셀 지정만으로 물체의 6자유도(6-DoF) 3차원 위치와 회전을 추적하는 'ProxyPose'를 공개했다. 비디오 생성 모델로 대상을 색상 큐브로 치환한 뒤 기하학적으로 자세를 계산해 투명체나 반사, 가려짐이 심한 환경에서도 안정적으로 작동한다.
비디오 재조명 프레임워크 Relit-LiVE: 카메라 트래킹 없이 안정적인 물리 광원 구현
연구진이 사전 카메라 포즈 데이터 없이 비디오 조명을 재구성하는 프레임워크 Relit-LiVE를 공개했습니다. 재조명된 프레임과 프레임별 왜곡 환경 맵을 함께 생성해 긴 영상에서도 반사와 그림자를 물리적으로 안정되게 유지하며, 재질 교체와 디라이팅 편집도 지원합니다.
MS '월드-R1' 공개: 강화학습으로 영상 생성의 3D 공간 왜곡 해결
마이크로소프트가 영상 생성 프레임워크 World-R1을 공개했습니다. 기본 모델 아키텍처를 변경하지 않고 Wan2.1 기반에서 강화학습으로 3D 기하학적 제약을 학습시켜, 영상의 시각적 품질을 유지하면서 공간 일관성을 크게 높였습니다.
옴니트랜스퍼 공개: 영상 하나로 특수효과·동작·카메라 워크까지 복제
Wan 2.1 기반 비디오 전이 프레임워크 옴니트랜스퍼(OmniTransfer)가 공개됐다. 복잡한 포즈 추출이나 카메라 궤적 계산 없이도 참조 영상의 시각 효과, 인물 움직임, 촬영 구도, 스타일을 단일 모델에서 새 이미지로 매끄럽게 복제해 준다.
텐센트 VerseCrafter 공개: 이미지 한 장으로 블렌더에서 카메라와 물체 궤적 직접 제어하는 비디오 생성
텐센트 연구진이 4D 기하학적 제어가 가능한 비디오 월드 모델 VerseCrafter를 공개했습니다. 단일 이미지를 3D 포인트 클라우드로 변환해 블렌더에서 카메라 구도와 물체의 3D 궤적을 직접 지정할 수 있으며, Wan2.1을 기반으로 시공간 일관성이 높은 영상을 생성합니다.
알리바바, 시작과 끝 프레임 잇는 14B 영상 모델 ‘Wan2.1-FLF2V’ 오픈소스 공개
알리바바가 시작과 종료 프레임을 입력받아 자연스러운 전환 영상을 생성하는 14B 모델 ‘Wan2.1-FLF2V’를 오픈소스로 공개했다. 추가 제어 메커니즘을 통해 양 프레임의 시각적 특징을 유지하며 부드러운 움직임을 구현한다. Wan 공식 웹사이트에서 5초 720p 영상을 무료로 생성할 수 있으며 허깅페이스와 깃허브에도 공개되었다.
크레아, '완 2.1' 기반 맞춤형 비디오 학습 기능 출시
크레아는 오픈소스 영상 모델 '완 2.1'을 자체 영상으로 직접 미세조정할 수 있는 비디오 학습 기능을 발표했다. 이용자는 특정 스타일이나 동작, 사물을 모델에 직접 학습시켜 AI 영상 생성의 정밀한 제어가 가능하다.
알리바바, 소라 능가하는 오픈소스 영상 생성 AI 'Wan2.1' 공개
알리바바 퉁이 연구소가 오픈소스 비디오 생성 모델군 'Wan2.1'을 공개했다. 14B 모델은 주요 벤치마크에서 소라를 앞서며 속도도 2.5배 빠르다. 중·영 텍스트 렌더링을 지원하며, 1.3B 경량 모델은 일반 RTX 4090 환경에서도 로컬 구동이 가능하다.