SenseNova, U1.5-8B 오픈소스 공개: VAE 없이 픽셀 공간에서 4K 직접 생성

SenseNova가 공개한 SenseNova-U1.5-8B-MoT는 네이티브 4K 이미지 생성과 자연어 기반 이미지 편집을 단일 모델로 처리하는 오픈소스 멀티모달 모델입니다.

기존 이미지 생성 모델들이 당연하게 거치던 잠재 공간과 VAE 디코더를 완전히 걷어냈다는 점이 핵심입니다.

VAE 없이 픽셀 공간에서 바로 생성한다

대다수 이미지 생성 모델은 이미지를 저차원 잠재 공간(Latent Space)으로 압축해 계산한 뒤, VAE(변분 오토인코더)로 디코딩해 복원하는 방식을 씁니다. 연산 비용은 아낄 수 있지만 디코딩 과정에서 텍스트가 뭉개지거나 미세한 디테일이 손상되는 한계가 있었습니다.

SenseNova-U1.5-8B-MoT는 NEO-unify 아키텍처를 기반으로 설계되어 픽셀 공간(Pixel Space)에서 직접 엔드투엔드로 이미지를 생성합니다. 별도의 인코더나 디코더 없이도 네이티브 4K 해상도의 고품질 결과물을 곧바로 뽑아냅니다.

실제 생성 품질에서는 실사 사진의 질감과 조명 표현은 물론, 포스터나 인포그래픽처럼 텍스트가 빽빽하게 들어가는 복잡한 시각 디자인에서 중문과 영문의 가독성을 안정적으로 유지합니다.

이미지 편집 기능도 충실합니다. 프롬프트에 자연어로 지시해 옷의 색상을 바꾸거나, 포스터 내 문구를 수정하고, 불필요한 물체를 삭제할 수 있습니다. 바운딩 박스를 활용한 영역 제어와 여러 장의 참조 이미지를 바탕으로 한 복합 편집도 지원합니다.

요구 사양과 현재 한계

이 프로젝트는 Apache 2.0 라이선스로 배포되었으며 코드는 GitHub의 OpenSenseNova/SenseNova-U1 저장소에, 가중치는 Hugging Face에 공개되어 있습니다.

상류 구동 환경은 Python 3.11, PyTorch 2.8, CUDA 12.8 기준이며, uv sync로 가상환경을 구축하고 FlashAttention을 적용할 수 있습니다. 제공되는 추론 스크립트로 텍스트-이미지 생성 및 편집을 바로 실행할 수 있습니다.

다만 로컬 실행 장벽은 상당히 높습니다. 가중치 크기만 약 50GB에 달해 고사양 GPU가 필수적입니다. 제작진은 향후 더 적은 VRAM에서도 돌아갈 수 있도록 양자화 및 압축 버전을 출시할 계획이라고 밝혔습니다.

공식 문서에 명시된 한계점도 알아둘 필요가 있습니다. 특정 프롬프트에서 채도가 과해지거나 고주파 디테일이 지나칠 수 있어 cfg_scale 조절이 권장되며, 매우 작은 텍스트나 손발 같은 미세 구조의 불안정성, 광범위한 다회차 편집 시 대상의 일관성이 흔들리는 현상 등이 남아 있습니다.

왜 중요한가

디자인 시안 작업이나 타이포그래피가 포함된 시각 에셋을 직접 제작해야 하는 크리에이터, 그리고 최신 멀티모달 아키텍처를 로컬에서 연구하려는 개발자에게 매력적인 선택지입니다. 별도의 인페인팅 툴을 거치지 않고 자연어 지시만으로 텍스트와 요소를 바꿀 수 있어 작업 단계를 대폭 줄여줍니다.

무엇보다 VAE 기반 디코딩에 의존하던 기존 오픈소스 생성 모델 생태계에서 픽셀 공간 직접 4K 생성이라는 대안이 실용적인 수준으로 구현되었다는 점이 돋보입니다. 50GB라는 거대한 용량은 부담스럽지만, 향후 양자화 버전이 보급된다면 고해상도 생성 AI의 판도를 흔들 잠재력이 충분합니다.