메타, 텍스트 입력 후 1분 안에 3D 모델 만드는 '3D Gen' 공개

게임이나 영화 제작에서 3D 모델을 처음부터 만들고 UV를 펼쳐 텍스처를 입히는 작업은 숙련된 아티스트에게도 며칠씩 걸리는 고된 노동이었습니다.

Meta가 이 작업 시간을 1분 이내로 줄이겠다고 나섰습니다.

Meta의 생성형 AI 연구팀은 텍스트 프롬프트를 고품질 3D 에셋으로 빠르게 변환해 주는 신규 시스템인 Meta 3D Gen을 공개했습니다.

메시에 30초, 텍스처에 20초

기존의 텍스트 기반 3D 생성 도구들은 결과물이 흐릿하거나 게임 엔진에서 쓰기 힘들 만큼 메시 구조가 엉망인 경우가 많았습니다.

Meta는 이 문제를 해결하기 위해 공정을 두 단계로 명확히 분리했습니다.

먼저 Meta 3D AssetGen이 텍스트 프롬프트를 기반으로 약 30초 만에 기본적인 3D 외형과 형태를 잡아냅니다.

그 다음 Meta 3D TextureGen이 20초 이내에 고해상도 텍스처와 재질을 입히거나 다듬어 전체 공정을 1분 안에 끝냅니다.

Meta 연구진에 따르면 이 시스템은 뷰 공간, 볼륨 공간, UV 텍스처 공간 등 세 가지 차원에서 3D 객체를 동시에 처리합니다.

특히 게임 및 영화 산업의 표준인 물리 기반 렌더링(PBR) 재질 맵을 직접 지원하기 때문에 조명에 따른 반사나 질감이 훨씬 사실적입니다.

AI가 만든 모델뿐만 아니라 사람이 직접 제작한 기존 3D 모델을 가져와 텍스트 프롬프트만으로 새로운 텍스처를 다시 입히는 기능도 지원합니다.

벤치마크 테스트 결과, 텍스트 충실도와 텍스처 품질 전반에서 평가자의 68%가 기존 단일 단계 모델보다 Meta의 2단계 파이프라인 생성물을 선호한 것으로 나타났습니다.

다만 이 기술은 현재 연구 논문 단계이며 아직 일반 대중에게는 공개되지 않았습니다.

왜 중요한가

Meta 3D Gen에서 가장 주목할 부분은 기하학적 형태 생성과 표면 텍스처 작업을 과감히 분리했다는 점입니다.

실제 개발 현장에서는 모델의 뼈대를 새로 만드는 일보다 배경 소품의 재질을 바꾸거나 변형을 주는 작업에 훨씬 더 많은 시간이 들어갑니다. 사람이 이미 만들어 둔 에셋에 자연어로 텍스처만 새로 입힐 수 있다는 점은 현업 워크플로를 매우 현실적으로 겨냥한 결과물로 보입니다.

인디 게임 개발자나 1인 창작자에게 이 도구가 실제로 주어진다면 배경 에셋 수백 개를 손쉽게 찍어낼 수 있어 제작 장벽이 크게 낮아질 것입니다.

하지만 실전 도입 전까지 넘어야 할 산도 뚜렷합니다. 겉보기에 그럴듯한 텍스처가 입혀졌더라도 폴리곤 흐름과 토폴로지가 엉망이면 실시간 엔진에서 심각한 병목을 일으킬 수 있습니다. 결국 아티스트가 메시를 수동으로 정리해야 한다면 시간 절약 효과는 반감될 수밖에 없습니다.

결국 Meta의 이러한 기술 개발은 자사 VR 및 가상현실 생태계에 필요한 막대한 양의 3D 콘텐츠를 빠르게 채워 넣기 위한 포석입니다. 산업 표준 파이프라인과 직접 맞닿은 모델을 제시하면서 경쟁사들의 3D 생성 AI 연구 방향에도 큰 자극을 줄 것으로 보입니다.