엔비디아, VAE 없는 멀티모달 모델 'PixelUMM' 공개…픽셀서 바로 생성·이해

PixelUMM은 엔비디아와 워털루 대학교가 오픈소스로 공개한 멀티모달 모델로, 단일 디코더 전용 트랜스포머 하나로 이미지와 비디오의 이해 및 생성을 모두 처리한다. 기존 확산 모델에 쓰이던 VAE와 시각 인코더를 완전히 걷어내고, 원시 픽셀 공간에서 데이터를 직접 읽고 쓰는 점이 가장 큰 특징이다.

무엇을 할 수 있나

Qwen3-8B를 백본으로 사용하며, 텍스트 기반 이미지 생성, 비디오 생성, 이미지 이해, 비디오 이해의 4대 작업을 동시에 수행한다.

입력 방식도 직관적이다. 이미지는 16×16 패치로, 비디오는 4프레임 단위의 튜브로 분할해 토큰화한다. 모델 내부에 이해 전문가와 생성 전문가 모듈을 따로 두었지만, 셀프 어텐션 계층은 하나로 공유한다. 텍스트 프롬프트 같은 깨끗한 입력값은 이해 전문가가, 노이즈가 섞인 목표 픽셀은 생성 전문가가 맡아 하나의 흐름 안에서 연산한다.

공개된 체크포인트는 두 가지다. 기본값인 S8-F22-R05는 네 가지 작업을 모두 지원한다. 중간 단계 모델인 S8-F18-R01은 비디오 이해를 지원하지 않지만, 480p 및 720p 비디오 생성 품질이 조금 더 낫다.

생성 품질은 최신 상용 프론티어 모델 수준에는 미치지 못한다. 선형 투영 헤드를 사용하기 때문에 하늘처럼 평평하고 질감이 적은 영역에서 격자 형태의 패치 아티팩트가 나타나는 한계가 있다.

어떻게 실행하나

코드베이스는 깃허브에 공개되어 있으며 대부분 아파치 2.0 라이선스를 따른다. 다만 DiT에서 파생된 일부 모델링 파일에는 CC BY-NC 4.0 라이선스가 적용된다.

가중치는 허깅페이스의 nvidia/PixelUMM에서 내려받을 수 있고, Qwen3-8B 설정과 토크나이저 파일이 함께 필요하다. 단일 비디오 생성 명령에는 안전 검사가 기본으로 켜져 있어 사전에 승인받은 nvidia/Cosmos-1.0-Guardrail 계정 권한이 있어야 한다.

단일 GPU 환경에서도 기본 추론을 돌릴 수 있으며, 모델 전체를 메모리에 올리지 않고 텐서 정합성을 확인하는 check_checkpoint.py 스크립트도 포함되어 있다. 하지만 리포지토리에 포함된 4단계 토이 학습 예제를 직접 돌리려면 최소 48 GiB VRAM을 갖춘 GPU 7장과 약 61 GB 크기의 체크포인트를 저장할 저장 공간이 필요하다.

왜 중요한가

그동안 멀티모달 모델은 이해를 위해 별도 인코더를 붙이고 생성을 위해 VAE 잠재 공간을 오가는 복잡한 파이프라인에 의존해 왔다. PixelUMM은 잠재 공간 압축 없이 단일 모델이 원시 픽셀을 직접 다루는 통합 구조가 충분히 성립함을 보여주었다.

지금 당장 상용 서비스에 적용할 만한 완성형 제품이라기보다는 선행 아키텍처 탐색용 연구 프리뷰에 가깝다. 품질과 일관성 면에서 갈 길이 남아 있지만, 인코더 없는 차세대 멀티모달 모델을 실험하려는 연구자와 엔지니어에게는 중요한 출발점이 될 것이다.