신세시스 AI, 텍스트로 고화질 3D 디지털 휴먼 만드는 기술 공개

게임이나 영화 VFX에서 사실적인 3D 디지털 휴먼을 제작하는 과정은 악명 높을 만큼 많은 비용과 시간이 듭니다. 수십 대의 카메라를 갖춘 포토그래메트리 장비를 구축하고, 실제 모델을 섭외해 계약서를 작성한 뒤, 캡처한 이미지를 바탕으로 메쉬와 텍스처를 수작업으로 다듬어야 하기 때문입니다. 모델 하나를 만드는 데만 수주일에 걸쳐 수천 달러가 들어가는 일이 다반사였습니다.

미국 샌프란시스코의 합성 데이터 스타트업 신세시스 AI(Synthesis AI)는 이 과정을 텍스트 한 줄로 단축하는 솔루션을 제시했습니다. 자사 온라인 플랫폼 '신세시스 랩스(synthesis labs)'를 통해 텍스트 프롬프트만으로 영화 수준의 고화질 3D 디지털 휴먼을 만들어내는 text-to-3D 기술을 선보였습니다.

메쉬와 텍스처를 분리해 완성도 높여

이용 방법은 간단합니다. 사용자가 나이, 성별, 인종, 헤어스타일, 의상 등을 텍스트로 묘사하면 시스템이 이에 맞는 3D 모델을 즉시 생성합니다. 생성된 모델은 프롬프트를 수정하거나 화면에 제공되는 슬라이더를 움직여 표정과 조명을 손쉽게 조절할 수 있습니다.

기술적으로는 3D 지오메트리 메쉬와 텍스처 생성을 분리해 처리한 점이 핵심입니다. 신세시스 AI는 확산 모델(diffusion-based) 기반의 자체 아키텍처를 통해 성별, 연령 등의 변수를 반영한 메쉬 구조를 먼저 만들고, 표면 텍스처는 별도의 생성 모델로 독립 생성한 뒤 이를 하나로 결합해 고해상도 3D 모델을 완성합니다.

신세시스 AI의 야샤르 베자디(Yashar Behzadi) CEO는 벤처비트와의 인터뷰에서 텍스트 기반 합성을 통해 기존 방식 대비 수천 달러의 비용과 수주의 작업 시간을 줄일 수 있다고 강조했습니다. 앞서 이 회사는 인물 합성 데이터 제품인 'synthesis humans'와 복합 환경 데이터인 'synthesis scenarios'를 선보인 바 있습니다.

베자디 CEO는 검색창을 쓸 줄 아는 사람이라면 누구나 이용할 수 있을 만큼 사용성이 단순하지만, 초기 핵심 사용자는 전문 머신러닝 지식 없이 3D 시뮬레이션 환경을 구축해야 하는 엔터테인먼트 분야의 테크니컬 아티스트와 제조 및 산업 분야 기획자가 될 것으로 내다봤습니다.

왜 중요한가

이 발표에서 가장 눈여겨볼 점은 메쉬와 텍스처 파이프라인을 분리한 설계입니다. 기존 텍스트 기반 3D 생성 기술은 멀리서 보면 그럴듯해도 가까이서 보면 디테일이 뭉개지기 일쑤였는데, 구조와 텍스처를 따로 정밀 제어함으로써 실제 제작 파이프라인에서 활용 가능한 수준의 정밀도를 확보했습니다.

아울러 이번 기술은 게임 및 영화 그래픽 제작뿐만 아니라 인공지능 학습을 위한 합성 데이터 시장에서도 큰 의미를 가집니다. 실제 인물을 섭외할 때 따르는 초상권이나 개인정보 보호 이슈 없이도, 라벨링이 완벽하게 완료된 다양한 인종과 연령의 3D 인물 데이터를 손쉽게 대량 확보할 수 있기 때문입니다.

텍스트 생성 AI의 흐름이 2D 이미지와 글쓰기에서 3D 공간 에셋으로 빠르게 이동하고 있습니다. 값비싼 스캔 장비와 복잡한 툴 없이도 슬라이더 몇 개와 텍스트만으로 디지털 휴먼을 만들 수 있게 되면서, 가상 피팅, 자율주행 모니터링, 산업 시뮬레이션 분야의 데이터 구축 문턱이 크게 낮아질 것으로 보입니다.