3D 재구성 모델 TriSplat 공개: 가우시안 변환 없이 게임 엔진용 3D 메시를 즉시 생성

이미지를 3D로 만드는 생성 AI 기술은 눈부시게 발전했지만, 게임 개발자나 로봇 연구자들에게는 늘 아쉬운 점이 있었습니다. 최근 유행하는 가우스 스플래팅(3DGS)은 겉보기에는 화려하지만, 실제로는 반투명 타원체들의 집합에 불과합니다. 물리 엔진이 인식하지 못해 충돌 감지나 시뮬레이션을 돌리려면 번거로운 후처리로 메시 변환을 거쳐야만 했습니다.

연구진이 공개한 피드포워드 3D 재구성 모델 TriSplat은 이 골치 아픈 변환 과정을 완전히 건너뜁니다. 가우스 대신 '방향성 삼각형 프리미티브'를 활용해 장면을 구성하며, 단 한 번의 추론으로 약 1.2초 만에 즉시 사용 가능한 3D 메시를 출력합니다.

가우시안 대신 삼각형으로 직접 짓는 3D

카메라 위치 정보가 없는 희소한 시점의 이미지에서 메시를 직접 예측하는 작업은 면이 뒤틀리거나 깨지기 쉬워 매우 까다롭습니다.

TriSplat은 DINOv2 기반의 시각 특징 추출과 정교한 기하학적 파이프라인으로 이를 풀어냈습니다. 입력 이미지로부터 국소 3D 포인트 맵과 카메라 포즈를 함께 예측한 뒤, 포인트 맵에서 기하 법선 벡터를 계산하고 이미지 조건부 헤드로 이를 정밀하게 보정합니다.

여기에 학습 초기 안정성을 높이는 모노 노멀 부트스트랩 스케줄과 불투명도·블러 제어 기법을 더해, 학습이 진행될수록 삼각형 표면이 얇고 단단하게 물체 표면에 달라붙도록 설계했습니다.

RealEstate10K 및 DL3DV 데이터셋 테스트 결과, TriSplat은 기존 가우스 기반 피드포워드 모델 대비 뛰어난 기하학적 충실도를 보여주었으며, 렌더링 품질 역시 대등한 수준을 유지했습니다.

왜 중요한가

우리는 TriSplat이 가우스 생성 후 메시로 바꾸는 복잡한 우회로를 버리고, 처음부터 엔진 친화적인 기하 구조를 택한 점을 높게 평가합니다.

지금까지의 3D 생성 AI는 웹 뷰어에서 감상하기에는 좋았지만, 실제 게임 제작이나 언리얼 엔진 파이프라인에 가져가려면 손이 너무 많이 갔습니다. TriSplat은 결과물이 곧바로 삼각형 메시이기 때문에 별도의 변환 없이 곧바로 충돌 판정을 적용하고 물리 시뮬레이션에 투입할 수 있습니다.

특히 대규모 합성 환경을 빠르게 구축해 로봇을 학습시켜야 하는 임바디드 AI(Embodied AI) 연구진에게 1.2초 만에 물리 호환 메시를 뽑아내는 능력은 작업 속도를 크게 끌어올릴 수 있는 요소입니다.

극도로 복잡한 가림 현상이나 미세한 디테일 처리에서는 여전히 한계가 존재하겠지만, 시각적 품질과 물리적 실용성을 동시에 챙길 수 있음을 증명했다는 점에서 의미가 큽니다.