상하이 AI 랩, 이미지 생성·편집·다중 시각 이해 통합 모델 'InternLumina-U2' 공개

InternLumina-U2는 이미지 생성, 이미지 편집, 그리고 광범위한 시각 이해 기능을 단 하나의 모델로 아우르는 오픈소스 프로젝트다. 텍스트-이미지 생성용 확산 모델과 시각 언어 모델(VLM)을 따로 두고 연결할 필요 없이, 텍스트 질의응답, 이미지 생성, 지시어 기반 편집, 비디오 분석, 3D 에셋 이해까지 동일한 백본과 이산 토큰 인터페이스로 처리한다.

상하이 인공지능 연구소는 2026년 10월 InternLumina-U2의 모델 가중치와 미세조정 코드, 추론 가속 파이프라인을 Hugging Face와 GitHub에 공개했다.

무엇을 할 수 있나

이미지 생성 및 편집 영역에서는 실사 사진부터 유화에 이르기까지 다양한 스타일을 고품질로 렌더링하며 GenEval 벤치마크에서 89점을 기록했다. 특히 프롬프트 이해력이 뛰어나 "이미지 속 주황색 큐브만 회전시켜 달라"거나 사진을 목탄 드로잉 스타일로 바꾸라는 식의 세밀한 지시를 정확히 인식해 해당 영역만 깔끔하게 수정한다.

이해 성능 역시 단순한 이미지 생성기를 훌쩍 뛰어넘는다. 복잡한 ER 다이어그램을 읽고 세부 데이터 구조를 분석해 답변하거나, 의료 스캔 영상을 보고 신경 결함을 짚어내며, 차트와 문서 질의응답(ChartQA 86.2점)에서도 높은 정확도를 보인다.

동적 데이터와 입체 에셋도 기본 지원한다. 64프레임 분량의 비디오를 입력하면 흐름 전체를 시간 순서대로 정밀하게 요약하며, GLB 또는 GLTF 형식의 3D 에셋을 넣으면 내장된 Blender 스크립트로 다각도 렌더링을 수행한 뒤 공간 구조를 파악해 질문에 답한다.

아키텍처와 구동 스펙

기존 통합 모델들은 단일 코드북의 정보 표현 한계로 디테일이 뭉개지거나, 생성과 이해 경로가 따로 나뉘는 문제가 있었다. InternLumina-U2는 완전 이산형 멀티 코드북 기법으로 이 한계를 넘었다.

AToken 시각 토크나이저를 활용해 각 공간 위치를 8개의 보완적인 이산 코드북으로 표현한다. 입력 시에는 이 8개 임베딩을 하나로 합쳐 백본 토큰으로 전달하고, 출력 시에는 공간 위치를 병렬로 디노이징한 뒤 자기회귀 헤드를 통해 8개 코드를 순차적으로 복원하는 구조다.

백본 네트워크는 자기회귀 MoE를 변환한 마스크 확산 언어 모델인 LLaDA2.0-mini를 사용한다. 전체 파라미터는 169억 개에 달하지만 희소 라우팅을 적용해 토큰당 활성화되는 파라미터는 약 14억 개 수준이다. 20개 트랜스포머 레이어 중 첫 번째 레이어만 밀집 피드포워드이며, 나머지 19개는 레이어당 256개 라우팅 전문가와 1개 공유 전문가를 갖춘 MoE로 구성되어 토큰마다 8개 전문가가 호출된다.

추론 속도를 최대 4.45배까지 끌어올리는 학습 불필요 샘플링 기법도 기본 탑재했다. 로컬 환경에서 실행하려면 Python 3.11, PyTorch 2.6, CUDA 12.4 환경과 flash-attn이 필요하다. 가중치는 엔비디아 GPU용과 화웨이 어센드 NPU용으로 나뉘어 제공된다. 다만 애플의 ml-atoken 프로젝트에서 가져온 AToken 가중치 파일은 라이선스 문제로 저장소에 포함되어 있지 않아 사용자가 직접 내려받아 경로를 지정해야 하며, 3D 기능을 쓰려면 Blender 4.5 설치 스크립트를 먼저 실행해야 한다.

왜 중요한가

이미지를 깊이 있게 이해하면서 동시에 정교하게 그려내는 통합 모델은 차세대 멀티모달 AI의 핵심 과제였다. 지금까지의 시스템은 대형 언어 모델이 외부 확산 모델을 API 형태로 호출하는 방식이 대다수였다.

InternLumina-U2는 확산 MoE 구조와 다중 코드북 이산 토큰 설계를 통해 두 기능을 단일 파이프라인에서 매끄럽게 처리할 수 있음을 증명했다. 특히 활성화 파라미터를 14억 개 수준으로 억제해 연구자와 개발자가 현실적인 비용으로 다룰 수 있다는 점이 매력적이다. 외부 토크나이저 다운로드 등 초기 환경 구성에 다소 손이 가지만, 시각 분석과 정밀 편집을 동시에 수행하는 비주얼 에이전트를 구축하려는 팀에게 훌륭한 오픈소스 기반이 될 것이다.