엔비디아, AI 비디오를 최대 4K로 업스케일링하는 ‘Open H3 Regenerate 2K’ 오픈소스 공개
엔비디아가 오픈소스 영상 개선 도구 ‘Open H3 Regenerate 2K’를 공개했다. MiniMax H3 등 모델로 생성한 저해상도 초안을 단 3단계 디퓨전 과정으로 2K 및 최대 4K 해상도로 재구성해 디테일을 채운다. 로컬에서 직접 구동할 수 있지만, 인물 얼굴 등 세부 묘사가 원본과 일부 달라질 수 있다.
英伟达
Underdog, 163MB 음성인식 모델 Bark 3.0 공개: 5분 음성을 0.5초 만에 변환
이번 주 Underdog이 허깅페이스를 통해 초경량 음성인식 모델 Bark 3.0을 공개했다. 크기가 163MB에 불과하지만 애플 M 칩에서 5분 오디오를 0.5초 만에 변환하며 Whisper Large보다 낮은 오류율을 보인다. 추임새를 걸러주는 Clean 버전도 제공되나 현재는 영어만 지원한다.
엔비디아 월드 모델 'SANA-WM' 공개: 단일 5090서 1분 영상 34초 만에 생성
엔비디아가 키보드 입력으로 시점을 조작할 수 있는 26억 매개변수 오픈소스 월드 모델 'SANA-WM'을 발표했다. 증류 버전을 통해 단일 RTX 5090 환경에서 720p 1분 영상을 34초 만에 생성하며 장면 일관성을 유지한다. 가중치는 곧 오픈소스로 공개될 예정이다.
엔비디아, 동영상을 탐험 가능한 3D 환경으로 바꾸는 'Lyra 2.0' 오픈소스 공개
엔비디아가 동영상을 일관성 높은 3D 가우시안 스플래팅 환경으로 변환하는 생성기 'Lyra 2.0'을 오픈소스로 공개했다. 모델 크기는 131MB에 불과하며, 시점 이동 시 발생하는 왜곡을 해결해 생성된 3D 세계를 아이작 심(Isaac Sim)으로 내보내 로봇 시뮬레이션 훈련에 곧바로 활용할 수 있다.