비글, 세계 모델 JST-2 공개: 텍스트·이미지로 탐험 가능한 3D 월드와 애니메이션 캐릭터 즉시 생성

많은 이들에게 비글(Viggle)은 유명인이나 친구의 얼굴을 유쾌한 춤 영상에 합성해 주던 바이럴 밈 앱으로 익숙할 것이다. 하지만 5천만 명 이상의 사용자를 모았던 이 팀이 지난 4년간 은밀히 준비해 온 핵심 기술은 단순한 장난감이 아니었다.

비글은 물리 기반 아키텍처를 바탕으로 설계된 3D 세계 파운데이션 모델 JST-2를 정식 공개했다. 평면적인 2D 픽셀을 예측하는 데 머무르지 않고, 텍스트 프롬프트나 몇 장의 이미지를 단 1초 만에 자유롭게 탐색할 수 있는 완전한 3D 가상 공간으로 바꿔 놓는다. 1회 추론 비용도 0.01달러 미만에 불과하다.

무엇보다 인상적인 부분은 생성된 3D 캐릭터가 물리 역학 정보를 기본 내장하고 있어, 기존 3D 제작 과정에서 가장 큰 병목으로 꼽히던 본 심기와 리깅 작업을 완전히 건너뛸 수 있다는 점이다.

픽셀 대신 물리적 원자로 세상을 구성하다

현재 유행하는 대다수 세계 모델은 픽셀 공간에서 사물의 겉모습을 학습한다. 겉보기에는 화려하지만, 시점을 돌렸다가 다시 원래 위치로 돌아오면 사물의 형태가 뒤틀리거나 사라지는 현상이 빈번하게 일어난다. 모델이 3D 공간에 실제로 무엇이 존재하는지 모르기 때문이다.

JST는 'Joint Space-and-Time(시공간 결합)'의 약자다. 비글은 세상을 픽셀로 취급하는 대신, 3D 공간 속에서 영속성을 지닌 미세한 물리 단위, 즉 '물리 네이티브 토큰'으로 모델링했다.

각 단위는 명확한 xyz 3차원 좌표와 함께 재질 특성 및 움직임 정보를 담은 벡터를 가진다. 공간 속 사물의 물리적 실체를 직접 추적하는 셈이다.

따라서 사용자가 시점을 자유롭게 이동하거나 뒤를 돌아보더라도 공간 속 사물과 캐릭터는 제자리를 온전히 지킨다. 생성된 공간은 3D 가우시안 스플래팅으로 변환되어 별도의 무거운 클라우드 연산 없이 일반 웹 브라우저에서 실시간으로 렌더링되고 탐색된다.

또한 최대 64개 시점의 공간 컨텍스트 창을 지원해, 시점을 한 단계씩 넓혀가며 거대한 공간으로 자연스럽게 확장할 수도 있다.

리깅 없이 바로 움직이는 캐릭터와 정교한 디테일

3D 작업을 해본 사람이라면 모델링보다 캐릭터에 뼈대를 심고 관절 움직임에 따라 피부 메쉬가 찢어지지 않도록 가중치를 칠하는 리깅이 얼마나 번거로운지 잘 안다.

JST-2는 생성 단계에서부터 각 부위의 움직임 역학을 토큰에 함께 학습시켰다. 신체와 옷감이 움직일 때 어떻게 변형되어야 하는지 모델이 이미 알고 있기 때문에, 일부가 잘려 나간 사진 한 장으로도 즉시 애니메이션이 가능한 온전한 3D 캐릭터를 만들어낸다.

Meshy 7.1 및 Tripo H3.1과의 블라인드 평가 비교에서 JST-2는 캐릭터 생성 품질 전반에서 두 경쟁 모델을 앞섰다. 특히 얼굴 디테일의 보존력, 손가락 관절의 유연성, 동작 시 의상과 신체의 자연스러운 주름 표현에서 뚜렷한 우위를 보였다.

생성된 전신 모션은 일반적인 3D 캐릭터 리그에도 호환되며, 3D 애니메이션뿐만 아니라 자율주행이나 로봇의 실내 공간 탐색 및 물체 조작 훈련용 시뮬레이션 환경 구축에도 곧바로 쓰일 수 있다.

현재 모델 가중치는 오픈소스로 공개되지 않았으나, 공식 웹 플랫폼을 통해 브라우저에서 누구나 무료로 체험해 볼 수 있다.

왜 중요한가

JST-2가 던지는 가장 큰 메시지는, 2D 비디오 확산 모델로 물리 법칙을 억지로 흉내 내는 것보다 처음부터 공간 좌표와 물리 법칙을 직접 모델링하는 접근법이 훨씬 강력하고 경제적이라는 사실이다.

1센트도 안 되는 비용과 1초의 시간으로 완전한 3D 공간과 움직이는 캐릭터를 뽑아낼 수 있다면 가상 환경 프로토타이핑과 인디 게임 제작의 문턱은 완전히 무너진다. 리깅이라는 전문 기술 장벽을 없애버림으로써 1인 창작자도 손쉽게 인터랙티브 콘텐츠를 만들 수 있게 되었다.

물론 한계도 명확하다. 흩날리는 긴 머리카락이나 복잡하게 겹친 헐렁한 옷감의 물리 표현은 아직 개선의 여지가 있으며, 비공개 모델인 탓에 대형 제작 파이프라인의 로컬 자동화 공정에 깊숙이 연동하기는 어렵다.

그럼에도 유쾌한 밈 생성 도구 뒤편에서 이처럼 진지하고 완성도 높은 물리 엔진형 AI를 구축해 냈다는 점은 놀랍다. 픽셀 너머의 진짜 3차원 세상을 다루려는 세계 모델 경쟁에서 비글은 매우 스마트한 한 수를 뒀다.