오픈소스 Fire3D: 일반 사진을 1분 만에 편집 가능한 3D 장면으로 변환

Fire3D는 일상적인 사진 한 장이나 스마트폰으로 찍은 영상에서 1분 안에 개별 편집이 가능한 3D 장면 에셋을 재구성하는 오픈소스 피드포워드 프레임워크입니다.

기존 3D 재구성은 몇 시간 동안 최적화 계산을 돌리거나, 사용자가 물체마다 일일이 마스크를 딴 뒤 단일 객체 생성 모델에 넘겨야 했습니다. Fire3D는 객체 탐지, 세그멘테이션, 가려진 영역 복원, 텍스처 생성을 최적화 반복 과정 없이 단일 추론 파이프라인으로 해결합니다.

60초 만에 장면을 복원하는 원리

사용자가 RGB 이미지나 영상을 입력하면, 내장된 Pi3X가 포인트 맵과 카메라 포즈를 계산합니다. 이어 DINOv3 기반 특징을 활용해 별도의 프롬프트나 마스크 입력 없이도 물체 수와 3D 바운딩 박스, 6자유도 포즈를 예측합니다.

시야에서 가려진 물체의 뒷면은 플로우 매칭 방식을 통해 완성된 형태의 지오메트리와 PBR 텍스처로 채워 넣습니다. 전경의 소품들은 독립적으로 움직일 수 있는 메시로 분리되고, 바닥이나 벽면은 배경 인스턴스로 함께 생성됩니다.

장면 전체를 단일 GPU에서 돌릴 수 있게 만든 핵심은 계층형 압축 오토인코더인 HC-VAE입니다. TRELLIS.2의 SC-VAE 잠재 공간을 32배 더 압축하여, 최대 16개 객체의 플로우 샘플링과 디코딩을 단일 GPU에서 동시에 병렬 처리할 수 있도록 설계했습니다.

실제 60프레임 영상에서 배경 포함 12개 인스턴스를 복원하는 데 걸린 시간은 전처리와 메시 추출을 합쳐 58.4초에 불과했습니다.

성능 비교와 공개 범위

장면 최적화 기반인 HoloScene이 약 8시간을 소모하는 반면, Fire3D는 약 1분 만에 더 정밀한 지오메트리를 뽑아냅니다. Boxer와 SAM2, TRELLIS.2를 이어 붙인 모듈형 베이스라인과 비교해도 네트워크 추론 속도가 6.52배 빠르며 벤치마크 품질 지표 전반에서 앞섰습니다.

생성된 메시들은 메트릭 좌표계에 맞춰 정렬되어 있어 Unreal Engine, Blender, 그리고 IsaacSim이나 IsaacLab 같은 로봇 시뮬레이션 환경에 바로 얹어 쓸 수 있습니다.

연구진은 추론 코드와 가중치 체크포인트는 물론, 모델 학습 코드까지 깃허브와 프로젝트 페이지를 통해 모두 공개했습니다.

왜 중요한가

인디 게임 제작자나 로보틱스 연구자라면 지금 바로 내려받아 테스트해 볼 가치가 충분합니다. 개별 물체 모델링에 그치지 않고 방 전체의 배치와 가려진 형상까지 알아서 분리해 주기 때문에 3D 배경 구축 비용을 극적으로 낮출 수 있습니다.

다만 한계도 명확합니다. 연구진이 밝혔듯 물리적 안정성과 시뮬레이션-실제 환경 전이(sim-to-real)에 대한 정밀 검증은 아직 거치지 않았습니다. 시뮬레이터에 올렸을 때 질량 중심이나 충돌 판정 등이 실제와 다를 수 있으므로 본격적인 로봇 테스트 전에는 점검이 필요합니다.