PhysiFormer 공개: 3D 물체의 충돌과 탄성 변형을 예측하는 물리 확산 모델

PhysiFormer는 3D 메시의 물리적 움직임과 탄성 변형을 예측하는 오픈소스 확산 트랜스포머 모델입니다.

최근 3D 생성 AI가 많이 발전했지만, 대부분은 정적인 형태만 만들어낼 뿐입니다. 이런 모델을 시뮬레이터나 인터랙티브 환경에 넣으면 실제 물리 법칙에 맞춰 충돌하거나 찌그러지지 않습니다. PhysiFormer는 3D 메시, 초기 속도, 재질 정보를 입력받아 실세계 좌표계에서 물리적으로 타당한 움직임을 직접 예측해 냅니다.

무엇을 할 수 있는가

물체의 3D 메시 정점 위치와 속도, 그리고 강체인지 탄성체인지 나타내는 재질 유형을 입력하면 이후 정점들의 궤적을 자동으로 계산합니다.

금속 같은 강체로 설정하면 떨어졌을 때 본래 형태를 유지하며 튕겨 나가고, 젤리나 고무 같은 탄성체로 설정하면 지면에 닿는 순간 자연스럽게 눌렸다가 복원됩니다. 단일 물체뿐만 아니라 여러 물체가 서로 부딪히는 상황도 함께 처리할 수 있습니다.

이 모델은 10만 개 이상의 시뮬레이션 궤적 데이터로 학습되었습니다. 학습 과정에서 본 적 없는 새로운 3D 외형이나 서로 다른 재질이 섞인 복잡한 환경에서도 물리 법칙에 부합하는 결과를 도출합니다.

어떻게 동작하는가

카메라 시점이나 조명에 영향을 받는 2D 비디오 생성 방식과 달리, PhysiFormer는 3D 메시의 월드 좌표계에서 직접 노이즈를 제거하는 확산 과정을 거칩니다.

구조적으로는 DiT(Diffusion Transformer)를 기반으로 하되, 셀프 어텐션을 시간, 공간, 객체 축으로 분해했습니다. 별도의 객체 임베딩 없이도 여러 물체가 상호작용하는 물리 역학을 순서에 구애받지 않고 연산할 수 있습니다.

또한 한 프레임씩 순차적으로 예측하는 기존 자기회귀 방식을 벗어나, 주어진 시간 구간 전체의 궤적을 한 번에 생성합니다. 이를 통해 오차가 누적되는 현상을 줄이고 운동량 보존과 형태 유지를 안정적으로 구현했습니다. 현재 깃허브 프로젝트 페이지에 코드와 모델이 공개되어 있으며 데이터셋도 곧 추가될 예정입니다.

왜 중요한가

3D 그래픽 제작자나 게임 개발자, 로보틱스 시뮬레이션을 다루는 연구자라면 지금 바로 로컬에 받아 테스트해 볼 가치가 충분합니다. 생성형 3D 에셋에 복잡한 수동 리깅 없이 물리적 생명력을 불어넣을 수 있기 때문입니다.

비디오 픽셀을 예측하는 세계 모델에 비해, 3D 좌표 공간에서 직접 메카닉스를 계산하는 방식은 로봇 조작이나 물리 기반 설계 관점에서 훨씬 실용적이라고 평가할 수 있습니다. 아직은 강체와 탄성체라는 비교적 단순한 재질 구분 중심이지만, 형상을 정확히 인지하는 물리 엔진 AI로 나아가는 의미 있는 발걸음입니다.