Moonlake, 블렌더 직접 조작하는 3D 월드 빌딩 에이전트 공개

지난 1~2년간 3D 생성 AI는 대부분 비슷한 방식이었습니다. 웹 채팅창에 텍스트를 입력하고 기다리면 메시 파일 하나를 던져주는 식입니다. 하지만 이렇게 나온 결과물은 겉보기만 그럴듯할 뿐, 토폴로지가 엉망이거나 파츠가 어긋나 있어 현업 아티스트가 수정하느라 더 많은 시간을 쓰기 일쑤였습니다.

AI 연구소 문레이크(Moonlake)가 공개한 새로운 3D 월드 빌딩 에이전트는 이 접근법을 완전히 바꿨습니다. 결과물 파일만 툭 던지는 대신, 블렌더(Blender) 같은 전문 3D 소프트웨어를 컴퓨터 화면상에서 직접 제어하며 작업하는 에이전트 데모를 선보였습니다.

블렌더 안에서 수정과 검증을 반복하다

문레이크의 에이전트는 목표 지시문과 레퍼런스 이미지를 받으면 블렌더를 직접 켭니다. 메뉴를 클릭하고, 지오메트리를 편집하고, 조명을 만지며 인간 작업자처럼 단계별로 작업을 수정해 나갑니다.

3D 작업은 단순히 렌더링 결과만 그럴듯해서는 쓸모가 없습니다. 예를 들어 경첩이 달린 수납장을 만들 경우 관절이 물리적으로 정확히 연결되어 있어야 실제로 움직일 수 있습니다. 기존 생성 모델들은 이 공간적 인과관계를 제대로 맞추지 못했습니다.

문레이크는 이를 해결하기 위해 3단계 보상 루프를 구축했습니다. 최상위 단계에서는 전반적인 시각적 완성도와 프롬프트 일치도를 보고, 중간 단계에서는 레퍼런스 이미지와의 일관성을 살피며, 최하위 단계에서는 코드 기반 검증을 통해 오브젝트 간 결합 상태와 물리적 정렬을 엄격하게 점검합니다. 시각 언어 모델이 놓치기 쉬운 미세한 오차를 프로그램 코드로 잡아내는 방식입니다.

현재 데모에서는 가전제품이나 가구 같은 관절형 에셋뿐만 아니라 쇼핑몰, 공장 바닥, 야외 풍경 같은 대규모 환경까지 빌드하는 과정을 보여줍니다. 아티스트가 특정 작업 방식을 한 번 시연해 보여주면 이를 학습해 향후 다른 작업에 재활용하는 기능도 탑재했습니다.

네이밍 정리부터 상태 체크까지, 잡무 자동화

3D 제작 파이프라인에서 작업자의 시간을 가장 많이 갉아먹는 부분은 모델링 그 자체보다 오브젝트 네이밍 규칙 검사, 불필요한 노드 정리, 카메라 구도 점검 같은 부수적인 정리 작업입니다.

문레이크는 이러한 반복 업무를 에이전트가 처리하도록 설계했습니다. 아울러 그래픽은 렌더링되지만 내부 데이터가 꼬여 발생하는 게임 개발상의 잠재적 오류를 잡기 위해, 특정 행동 시나리오를 실행해 상태 변화를 직접 확인하는 벤치마크 방식도 함께 도입했습니다.

왜 중요한가

우리는 문레이크가 자체 소프트웨어를 따로 만들지 않고, 아티스트들에게 익숙한 블렌더의 조작 권한을 에이전트에게 맡긴 선택이 매우 영리하다고 봅니다.

1인 개발자나 소규모 스튜디오 입장에서 이 기술의 진짜 가치는 창의적인 디자인을 대신해 주는 것이 아니라, 에셋 정리와 초기 씬 세팅 같은 지루한 수작업을 덜어내는 데 있습니다. 숙련자의 작업 방식을 한 번만 가르쳐두면 일관된 방식으로 작업을 이어받을 수 있어 도입 장벽도 낮습니다.

산업 전체로 보면 3D AI의 초점이 단순 에셋 생성에서 파이프라인 엔드투엔드 대행으로 넘어가고 있음을 보여줍니다. 게임, 영화, 시뮬레이션 분야는 수천억 달러 규모의 거대한 시장이며 그중 상당 부분이 수작업에 묶여 있습니다. 기존 도구와 호환되는 에이전트는 실무 환경을 흔들지 않고도 생산성을 끌어올릴 수 있는 현실적인 대안입니다.

다만 화면 제어 기반 에이전트 특성상 프로그램 렉이나 예기치 않은 팝업 창에 취약할 수 있으며, 작업 단계가 길어질수록 오류가 누적될 위험이 있습니다. 실제 복잡한 상용 프로젝트 환경에서도 흐트러짐 없이 긴 호흡의 작업을 완수할 수 있을지는 향후 정식 공개 이후 냉정하게 따져봐야 합니다.