텍스트로 3D 환경 만드는 '3D-GPT' 공개

전문 3D 소프트웨어에서 배경 하나를 만들려면 수많은 노드와 파라미터를 일일이 설정해야 합니다. 호주국립대학교, 옥스퍼드대학교, 베이징 인공지능연구원(BAAI) 소속 연구진은 텍스트 설명만으로 3D 장면을 구성하는 인공지능 시스템 '3D-GPT'를 개발하고 관련 논문을 arXiv에 발표했습니다.

여러 AI 에이전트가 나눠서 Blender를 제어한다

3D-GPT의 핵심은 대규모 언어모델(LLM)을 활용해 절차적 3D 모델링 작업을 세부 단위로 쪼갠 뒤, 전문 AI 에이전트들에게 역할을 분담시키는 구조에 있습니다.

먼저 '작업 분배 에이전트'가 사용자의 프롬프트를 분석해 작업 단계를 정리합니다.

이어 '개념화 에이전트'가 사용자의 단순한 묘사에서 빠진 세부 디테일을 채워 넣고, 추가 명령에 따라 장면 설명을 구체화합니다.

마지막으로 '모델링 에이전트'가 파라미터를 설정하고 Blender 같은 상용 3D 소프트웨어를 직접 구동하는 코드를 생성합니다.

연구팀이 "안개 낀 봄날 아침, 싹이 트는 나무들로 둘러싸인 울창한 풀밭에 이슬 맺힌 꽃들이 흩어져 있는 풍경"이라는 문장을 입력하자, 텍스트 요소가 정확히 반영된 3D 환경이 완성되었습니다. 아직 사실적인 실사 수준 그래픽에는 미치지 못하지만, 장면 구성 능력은 검증되었습니다.

왜 중요한가

우리는 3D-GPT가 블랙박스 형태의 3D 메시를 통째로 뽑아내는 대신, 기존 3D 소프트웨어를 제어하는 스크립트를 생성하도록 설계한 점이 매우 영리하다고 봅니다.

기존의 생성형 3D 기술은 폴리곤 구조가 엉망이라 전문 디자이너가 후수정하기 매우 까다로웠습니다. 반면 3D-GPT는 Blender의 파라미터와 코드를 조작하기 때문에, 작업자가 생성된 결과물을 열어 오브젝트를 옮기거나 텍스처를 직접 수정할 수 있습니다.

인디 게임 개발자나 VR 기획자, 배경 콘셉트 아티스트에게는 초기 환경 프로토타입을 빠르게 잡는 도구로서 즉각적인 가치가 있습니다.

에이전트 모듈이 분리되어 있어 특정 모델이 발전할 때마다 독립적으로 업그레이드할 수 있다는 장점도 돋보입니다. 다만 현재 구현할 수 있는 장면의 다양성이 내장된 절차적 스크립트 라이브러리 범위에 제한된다는 한계는 남아 있습니다.