이미지 한 장으로 블렌더 3D 장면 재구성하는 AI 에이전트 'VIGA' 공개

VIGA는 블렌더 그래픽스 엔진을 일종의 시각적 사고 도구로 활용하는 멀티모달 AI 에이전트입니다. 평범한 2D 이미지 한 장을 넣으면, 블렌더 안에서 자유롭게 편집하고 물리 속성과 상호작용까지 제어할 수 있는 3D 장면 프로그램을 재구성해 냅니다.

무엇을 할 수 있나

수정이 불가능한 메시나 포인트 클라우드를 일방적으로 뱉어내는 기존 3D 생성 모델과 달리, VIGA는 코드로 제어되는 프로시저럴 장면을 만듭니다.

블렌더의 매개변수 기반 육면체나 구체 같은 기본 도형을 활용해 바닥부터 공간을 조립할 수 있습니다. 정교한 오브젝트가 필요하다면 Meshy나 SAM-3D 같은 외부 3D 애셋 생성기를 호출해 결과물을 가져온 뒤, 이를 바탕으로 물리적 상호작용이 가능한 장면을 구축합니다.

연구팀에 따르면 3D 공간 구축 외에도 2D 슬라이드 디자인처럼 코드로 콘텐츠를 제작하는 다양한 영역으로 확장할 수 있습니다.

어떻게 작동하나

핵심은 '합성을 통한 분석(analysis-by-synthesis)' 루프입니다. 한 번에 완벽한 3D를 찍어내는 것이 아니라, 코드를 짜서 블렌더로 렌더링해 본 뒤 원본 이미지와 비교하며 점진적으로 수정하는 방식입니다.

이 과정에서 교차 멀티모달 추론과 진화형 컨텍스트 메모리가 쓰입니다. 모델이 과거 수정 내역과 렌더링 실수를 기억하고 있어, 카메라 구도나 오브젝트 배치, 조명, 재질을 사람 개발자처럼 단계별로 디버깅할 수 있습니다.

연구팀이 카메라 조정과 다단계 편집 등 30개 과제로 구성된 BlenderBench를 통해 테스트한 결과, GPT-4o나 Qwen3-VL-8B를 결합한 VIGA는 기존 원샷 기준선 대비 평균 124.70%의 성능 향상을 기록했습니다. 메모리 기능이 없는 변형 모델 BlenderAlchemy를 크게 앞섰으며, 기존 BlenderGym 벤치마크에서도 35.32% 향상된 결과를 냈습니다.

사용 방법과 현황

현재 논문은 arXiv(2601.11109)에 게재되어 있으며, 프로젝트 공식 웹사이트에서 데모 영상과 세부 벤치마크 자료를 확인할 수 있습니다.

엔진 백엔드로는 GPT-4o 외에도 오픈소스 모델인 Qwen3-VL-8B를 활용할 수 있습니다. 다만 현재는 기술 문서와 데모 공개 단계이므로, 로컬 환경에서 바로 패키지로 실행해 보려는 사용자는 향후 코드 저장소의 업데이트를 지켜볼 필요가 있습니다.

왜 중요한가

3D 아티스트나 게임 개발자에게 생성형 3D의 가장 큰 한계는 편집 불가능성이었습니다. 수정하기 힘든 깨진 메시 덩어리는 실무 파이프라인에서 큰 도움이 되지 않기 때문입니다. VIGA는 AI가 블렌더 파이썬 코드를 직접 작성하고 렌더러를 피드백 루프로 삼아 이 문제를 영리하게 풀어냈습니다.

그래픽스 엔진을 AI의 샌드박스로 삼는 방식은 대형 모델의 부족한 3D 공간 감각을 메워주는 실용적인 접근법이라고 봅니다. 블렌더 기반 작업 흐름의 자동화에 관심이 있는 사용자라면 구조를 눈여겨볼 만합니다.