로봇이 바로 만지는 3D 자산 만든다…물리 기반 생성 프레임워크 'PhysForge' 공개

지금의 3D 생성 모델은 보기 좋은 의자나 자동차를 몇 초 만에 뚝딱 만들어냅니다. 하지만 이를 로봇 훈련 시뮬레이터나 게임 엔진으로 가져가는 순간 문제가 드러납니다. 내부 구조도 없고 관절도 없는 꽉 찬 플라스틱 덩어리에 불과하기 때문입니다.

지금까지는 모델러들이 일일이 부품을 분리하고 뼈대를 심고 무게를 입력해야 비로소 상호작용이 가능했습니다. 이 번거로운 수작업을 자동화하려는 시도가 나왔습니다.

연구진은 물리적으로 작동 가능한 3D 자산을 만들어내는 생성 프레임워크 'PhysForge'를 발표했습니다. 겉모습만 그럴듯한 모델이 아니라, 물리 엔진에서 실제로 움직이고 기능하는 객체를 생성하는 기술입니다.

설계도를 먼저 짜고 형태를 입히는 2단계 방식

PhysForge는 형태와 물리 법칙을 한 번에 생성하려 하지 않고, 역할을 명확히 둘로 나눴습니다.

첫 번째 단계에서는 시각언어모델이 물리 설계자 역할을 맡습니다. 대상을 파악한 뒤 부품의 위치, 바운딩 박스, 관절의 유형, 재질, 질량 분포 등을 포함한 계층적 물리 청사진을 먼저 기획합니다.

두 번째 단계에서는 물리 기반 확산 모델이 이 청사진을 넘겨받아 3D 객체로 구현합니다. 연구진이 고안한 KineVoxel Injection 메커니즘을 통해 기하학적 형상과 정밀한 운동학 매개변수를 동시에 합성해 냅니다.

이 시스템을 뒷받침하기 위해 4단계 물리 주석이 달린 15만 개의 대규모 데이터셋 'PhysDB'도 함께 구축됐습니다.

이렇게 생성된 3D 자산은 로봇 손이 손잡이를 쥐고 문을 열거나, 서랍을 레일에 맞춰 당기는 등의 상호작용을 시뮬레이터 안에서 별도 설정 없이 바로 수행할 수 있습니다.

왜 중요한가

우리는 상식적 추론과 기하학적 생성을 분리한 접근 방식이 매우 영리하다고 평가합니다.

하나의 모델로 외형과 물리를 동시에 처리하려 하면 형태가 일그러지거나 시뮬레이션에서 관절이 엉뚱하게 튀는 문제가 자주 발생합니다. 언어 기반 모델이 구조적 법칙을 세우고 확산 모델이 살을 붙이는 방식이 훨씬 안정적입니다.

특히 구체화된 인공지능(Embodied AI) 진영에는 큰 호재입니다. 로봇이 현실의 다양한 사물을 조작하도록 훈련하려면 상호작용 가능한 가상 물체가 무수히 필요한데, 지금까지는 이 환경을 구축하는 비용이 너무 컸습니다.

물론 15만 개 데이터셋으로 현실의 모든 복잡한 기계 장치나 유연한 소재까지 완벽히 커버하기는 아직 이릅니다. 그럼에도 3D 생성을 단순한 시각적 껍데기에서 실질적인 상호작용 도구로 진화시켰다는 점에서 주목할 가치가 충분합니다.