엔비디아, 일관된 단계별 이미지·텍스트 생성 모델 'DuoGen' 공개

생성형 AI에게 레시피를 물어보면 글로는 막힘없이 설명하지만, 단계별 사진을 함께 만들어 달라고 하면 금세 한계를 드러냅니다. 첫 단계에 등장했던 프라이팬이 다음 단계에서 냄비로 바뀌거나, 재료의 모양과 주방 배경이 제각각으로 튀기 일쑤였습니다.

텍스트와 이미지가 번갈아 이어지는 시퀀스에서 시각적 일관성을 지키는 것은 멀티모달 모델의 오랜 난제였습니다. 2026년 1월 31일, 엔비디아가 이 문제를 정조준한 새로운 연구 논문을 통해 'DuoGen'이라는 멀티모달 프레임워크를 공개했습니다.

텍스트와 이미지 모달리티를 자연스럽게 넘나들며, 흐름이 끊기지 않는 단계별 설명과 시각 자료를 한 번에 생성해내는 기술입니다.

요리 레시피부터 로봇 행동 계획까지

DuoGen이 가장 돋보이는 영역은 일관된 스타일 유지가 필수적인 단계별 튜토리얼입니다.

볶음밥이나 생선찜 같은 요리 레시피를 요청하면, 조리 과정을 순서대로 기획하고 각 단계에 정확히 부합하는 설명과 이미지를 나란히 배치합니다. 사다리를 담요 걸이로 리폼하는 DIY 가이드에서도 동일한 가구와 작업 환경을 유지하며 완성까지의 시각적 흐름을 흐트러뜨리지 않습니다.

옷을 갈아입히거나 배경, 표정을 바꾸는 단일 이미지 편집도 가능하지만, 핵심 강점은 단연 연속된 과정의 일관된 시각화에 있습니다.

특히 로봇 공학 분야에서의 쓰임새가 주목받고 있습니다. 동작의 연속적인 단계를 시각적으로 펼쳐낼 수 있는 만큼, 로봇이 다음 행동을 예측하도록 돕는 훈련 데이터를 합성하는 용도로 활용할 수 있기 때문입니다.

비디오 DiT를 엮어낸 실용적인 아키텍처

이러한 인터리브 생성을 구현하려면 방대한 고품질 데이터와 막대한 연산 비용이 필요합니다. 엔비디아는 밑바닥부터 거대 단일 모델을 학습시키는 대신, 이미 검증된 모델들을 결합하는 영리한 우회로를 택했습니다.

시각적 이해와 논리적 계획은 사전 훈련된 멀티모달 LLM(MLLM)에 맡기고, 이미지 생성 파트는 비디오 생성으로 사전 훈련된 Diffusion Transformer(DiT)를 연결했습니다.

시간적 연속성을 학습한 비디오 모델의 특성을 스텝별 이미지 생성에 그대로 가져온 셈입니다. 연구진은 MLLM을 먼저 미세 조정한 뒤, 정제된 이미지·텍스트 혼합 시퀀스를 사용해 DiT와 정렬하는 2단계 분리 학습 전략을 적용했습니다.

벤치마크 테스트 결과, DuoGen은 텍스트 품질, 이미지 충실도, 컨텍스트 일치도 전반에서 기존 오픈소스 모델들을 앞섰습니다. 현재는 기술 논문만 공개된 상태이며, 코드와 데이터셋은 추후 공개될 예정입니다.

왜 중요한가

DuoGen은 이미지 생성 기술이 '화려한 한 장의 그림'을 넘어 '현실의 복잡한 절차를 설명하는 실용적 도구'로 진화하고 있음을 보여줍니다.

콘텐츠 제작자나 개발자 입장에서 일관된 그림체의 매뉴얼, 요리법, 조립 가이드를 만드는 작업은 늘 까다로운 수작업이었습니다. DuoGen 같은 모델이 본격적으로 풀린다면 프롬프트 입력만으로 완성도 높은 시각 가이드를 얻을 수 있어 제작 비용이 크게 줄어듭니다.

피지컬 AI와 로봇 산업 관점에서도 의미가 큽니다. 실제 환경에서의 물리적 상호작용 데이터는 수집 비용이 매우 비싼데, 비디오 DiT 기반의 시퀀스 생성은 저비용으로 양질의 합성 행동 데이터를 찍어낼 수 있는 파이프라인이 됩니다.

모든 것을 처음부터 재학습하지 않고, 비디오 생성 모델의 시간적 일관성을 절차적 이미지 생성에 이식한 엔비디아의 접근은 매우 효율적입니다. 향후 실용 멀티모달 AI가 나아갈 방향에 중요한 힌트를 던져주고 있습니다.