AI 3D 생성에 물리 속성 더한 'PhysX-Omni' 공개

AI로 정교한 3D 오브젝트를 만드는 일은 쉬워졌지만, 이를 물리 엔진에 넣는 순간 한계가 드러납니다. 겉모습만 그럴듯할 뿐 질량이나 마찰력 정보가 없고 관절도 움직이지 않아, 시뮬레이션에서는 허공에 뜨거나 부서지기 일쑤였습니다.

연구진은 물리 시뮬레이션에 즉시 투입할 수 있는 3D 에셋 생성 프레임워크 'PhysX-Omni'를 공개했습니다.

겉모양을 넘어 물리적 상호작용까지

기존의 3D 생성 기술은 물리 속성을 아예 배제하거나, 강체, 변형체, 관절형 물체 중 단 하나의 카테고리만 다루는 데 그쳤습니다.

PhysX-Omni는 이 다양한 자산 유형을 단일 프레임워크로 통합했습니다. 핵심은 비전-언어 모델(VLM)에 맞춘 새로운 형상 표현 방식입니다. 고해상도 3D 구조를 손실 압축 없이 직접 인코딩함으로써 모델의 생성 성능을 크게 끌어올렸습니다.

물리 데이터셋과 6가지 평가 기준 마련

연구진은 모델과 함께 학습 및 평가를 위한 인프라도 함께 내놓았습니다.

먼저 실내외의 다양한 카테고리를 포괄하는 최초의 범용 시뮬레이션 지원 3D 데이터셋 'PhysXVerse'를 구축했습니다.

또한 물리적 역량을 검증하기 위해 'PhysX-Bench'를 설계했습니다. 형상, 절대 크기, 재질, 상호작용 가능성(어포던스), 운동학, 기능 설명 등 6가지 핵심 속성을 종합적으로 평가합니다. 실험 결과, PhysX-Omni는 시뮬레이션 장면 생성과 로봇 정책 학습 전반에서 뛰어난 성능을 입증했습니다.

왜 중요한가

피지컬 AI와 로봇 공학의 성장을 가로막는 가장 큰 병목은 고품질 시뮬레이션 데이터의 부족입니다. 실제 로봇으로 모든 물리 상호작용을 학습시키는 것은 비용과 시간 면에서 불가능에 가깝기 때문입니다.

그동안 엔지니어들이 수작업으로 입력해야 했던 질량, 재질, 관절 회전 범위 등을 AI가 자동으로 생성해 준다면 로봇 훈련용 가상 환경 구축 비용은 획기적으로 낮아집니다.

표현 방식 개선과 데이터셋, 6개 축의 벤치마크를 한 번에 패키지로 묶어 선보였다는 점에서 매우 영리한 연구라고 판단됩니다. 비록 당장 산업용 파이프라인에 완벽히 연동되기까지는 추가 엔지니어링이 필요하겠지만, AI 3D 생성이 진정한 물리적 실용성을 갖추기 시작했다는 중요한 신호입니다.