알리바바, 이미지 생성·편집 통합 모델 DeepGen 1.0 오픈소스 공개

AI에게 그림의 글자를 고치거나 배경을 바꿔 달라고 요청하는 일은 이제 낯설지 않습니다. 하지만 그 모델이 이미지 편집을 넘어 미로를 스스로 풀어내고, 화면 속 다음 순간까지 유추해 그려낸다면 이야기는 완전히 달라집니다.

알리바바는 이미지 생성과 편집을 하나로 묶은 통합 모델 DeepGen 1.0을 오픈소스로 공개했습니다. 5B라는 비교적 가벼운 파라미터 크기에도 불구하고, 정교한 텍스트 렌더링과 다채로운 화풍 생성, 복잡한 이미지 수정 및 공간 추론 기능까지 두루 갖췄습니다.

단순 합성을 넘어 미로 추론까지 해내는 능력

DeepGen 1.0의 강점은 생성과 편집의 경계를 허문 데 있습니다. 텍스트를 이미지로 변환할 때 여러 예술적 화풍을 자유자재로 구현하며, 이미지 속 영문 및 텍스트를 선명하게 새겨 넣습니다.

알리바바가 제시한 벤치마크에 따르면, 텍스트 기반 생성 성능은 오픈소스 최상위권인 Zimage Turbo나 Qwen Image Edit과 어깨를 나란히 합니다.

더 눈길을 끄는 부분은 편집과 시각적 추론입니다. 이미지 내 사물 추가와 제거, 특정 피사체 교체, 실사 사진의 애니메이션 변환, 텍스트 수정은 기본입니다. 여기에 더해 장면의 다른 시점을 생성하거나 다음 행동을 예측해 내는 작업까지 지원합니다.

특히 복잡한 미로 이미지를 입력받아 정답 경로를 그려내는 추론 능력은 매우 인상적입니다. 알리바바 연구진은 종합 편집 벤치마크에서 Nano Banana와 Cream, Qwen Image 등을 능가하는 성능을 확인했다고 밝혔습니다.

5B 모델이 거대 모델을 꺾은 비결

기존의 통합 멀티모달 모델들은 정교한 제어를 위해 파라미터를 수십 B 이상으로 키우며 막대한 훈련 비용과 자원을 소모해 왔습니다. DeepGen 1.0은 영리한 아키텍처 설계를 통해 5B 체급으로 이를 극복했습니다.

핵심은 '스택 채널 브리징(SCB)'이라는 정렬 프레임워크입니다. 시각 언어 모델(VLM)의 여러 층에서 추출한 계층적 특징을 학습 가능한 '싱크 토큰(think tokens)'과 결합해, 이미지 확산 백본에 논리적 추론 가이드를 직접 전달합니다.

훈련 방식도 정교했습니다. 방대한 데이터를 무작정 쏟아붓는 대신 약 5,000만 개의 정제된 샘플만 사용했습니다. VLM과 DiT 표현을 일치시키는 정렬 사전 학습, 생성·편집·추론을 아우르는 지도 미세조정(SFT), 그리고 시각적 왜곡 없이 인간 선호도를 맞추는 MR-GRPO 강화학습의 3단계를 거쳤습니다.

그 결과 WISE 벤치마크에서 80B 규모의 HunyuanImage를 28% 앞섰고, UniREditBench에서는 27B 체급의 Qwen-Image-Edit을 37% 제쳤습니다.

알리바바는 GitHub에 코드와 데이터셋, 가중치를 모두 공개했습니다. 다만 Hugging Face에 등록된 모델 파일의 전체 용량이 72GB에 달해, 일반적인 개인 PC 환경에서 바로 내려받아 돌리기에는 진입 장벽이 높습니다.

왜 중요한가

창작자와 개발자 입장에서 생성과 편집을 단일 파이프라인으로 해결할 수 있다는 점은 대단히 매력적입니다. 여러 특화 도구를 번갈아 쓸 필요 없이 하나의 소형 모델 안에서 완성도 높은 수정 작업이 가능하기 때문입니다.

하지만 72GB라는 저장 공간과 리소스 요구치는 개인 사용자에게 여전히 부담스럽습니다. 오픈소스 커뮤니티에서 실용적인 양자화 버전이나 최적화 스크립트를 내놓기 전까지는 로컬 환경보다 클라우드 인스턴스를 통한 접근이 현실적입니다.

산업적 관점에서 DeepGen 1.0은 모델 덩치를 수십 B 단위로 무작정 불리지 않아도 정교한 공간 추론과 편집 능력을 담아낼 수 있음을 증명했습니다. 언어 모델의 추론 메커니즘을 이미지 생성 백본과 직접 연결한 방식은 향후 경량화 멀티모달 연구에 중요한 이정표가 될 것입니다.

훈련 코드와 가중치는 물론 데이터셋까지 아낌없이 개방한 알리바바의 행보는 매우 긍정적입니다. 앞으로 커뮤니티가 이 5B 모델의 구동 문턱을 얼마나 빠르게 낮춰 일반 환경으로 끌어내릴 수 있을지가 대중화의 관건이 될 것으로 보입니다.