UniMesh 공개: 3D 모델 생성부터 텍스트 편집·이해까지 하나로 통합

AI로 3D 에셋을 만들어본 사람이라면 누구나 특유의 단절감을 느껴봤을 것입니다.

현재 도구들은 처음부터 대략적인 형상을 뽑아내는 데 치중하거나, 기존 3D 데이터를 인식하고 분석하는 쪽으로 완전히 양분되어 있습니다. 막상 생성된 모델에서 부품 하나를 바꾸거나 색을 수정하려면 처음부터 다시 뽑아야 하는 일이 부지기수였습니다.

연구진은 이러한 한계를 넘어서는 통합 프레임워크 'UniMesh'를 공개했습니다. 그동안 따로 놀던 3D 생성과 3D 공간 이해를 단일 아키텍처로 묶어낸 기술입니다.

텍스트 프롬프트로 3D 모델을 직접 수정하다

UniMesh의 가장 큰 매력은 3D 생성뿐 아니라 정교한 의미 기반 편집까지 지원한다는 점입니다.

텍스트 설명이나 단일 이미지를 입력하면 곧바로 완성된 형태의 3D 메시가 생성됩니다.

진짜 강점은 그 다음 단계에서 드러납니다. 공개된 예시에 따르면, 우주비행사 손에 달을 들려주거나, 열기구의 풍선을 포도송이 모양으로 바꾸고, 불도저에 바퀴를 달거나, 오토바이 색상을 변경하는 작업을 자연어 지시만으로 처리할 수 있습니다.

이 연속 편집은 'Chain of Mesh(CoM)'라는 메커니즘을 통해 구현됩니다. 대규모 언어 모델의 생각의 사슬(CoT)을 3D 기하학에 적용한 것으로, 잠재 공간과 프롬프트, 재생성의 피드백 루프를 돌며 전체 형태를 망가뜨리지 않고 원하는 부위만 고쳐냅니다.

생성과 이해를 하나의 두뇌로 결합

과거 3D 모델들이 부분 수정을 못 했던 이유는 생성 모델과 형태 인식 디코더가 서로 분리되어 있었기 때문입니다.

UniMesh는 확산 기반 생성과 암시적 형태 디코더를 연결해 주는 'Mesh Head' 인터페이스를 도입해 이 장벽을 허물었습니다.

3D 공간과 구조를 모델 스스로 잘 이해하고 있기 때문에, 반대로 3D 객체를 입력받아 이를 설명하는 자연어 문장을 뽑아내는 '3D 캡셔닝'도 가능합니다. 복잡한 형태를 잘못 인식하는 문제를 막기 위해, 행동자-평가자-자기성찰로 구성된 3자 구조를 통해 오류를 스스로 진단하고 수정합니다.

왜 중요한가

게임 개발자나 3D 그래픽 디자이너에게 생성형 AI의 가장 큰 걸림돌은 '통제 불가능성'이었습니다. 한 번 생성하고 끝나는 방식은 단순 레퍼런스용에 불과하지만, 텍스트로 특정 요소를 수정할 수 있다면 실제 제작 파이프라인에 투입할 수 있는 도구가 됩니다.

우리는 3D 이해와 생성을 하나의 백본으로 묶은 접근이 매우 영리한 선택이라고 봅니다. 2D 멀티모달 모델들이 인식과 생성을 함께 학습하며 성능을 끌어올린 것처럼, 3D 역시 공간 구조를 제대로 파악해야만 실용적인 폴리곤 메시를 만들어낼 수 있기 때문입니다.

물론 UniMesh는 아직 연구 및 프로토타입 단계에 가깝습니다. 고해상도 게임 에셋이나 복잡한 리깅이 필요한 작업에 얼마나 버텨줄지는 검증이 더 필요합니다. 하지만 3D 생성 도구가 단순한 형태 생성기를 넘어, 구조를 이해하고 대화하며 수정하는 협업 도구로 나아가는 방향성을 확실히 보여주었습니다.