메타, 'GenIA' 공개: 사진·영상에서 정교한 3D 오브젝트 재구성

GenIA는 단일 사진이나 여러 장의 시점 이미지, 또는 일반 비디오 클립을 입력받아 온전한 3D 오브젝트 에셋으로 재구성하는 메타의 오픈소스 프레임워크입니다.

기존 생성형 3D 파운데이션 모델들은 보이지 않는 뒷면 기하구조를 채워 넣는 데는 능하지만, 원본 입력 이미지의 텍스처나 위치, 크기를 정확하게 재현하지 못하는 한계가 있었습니다. GenIA는 이 정렬 오차 문제를 해결합니다.

작동 원리

GenIA의 핵심은 기반 모델을 처음부터 다시 학습시키지 않고, 추론 시점에 입력 데이터와 결과를 일치시키는 '테스트 타임 정렬' 기법입니다.

시스템은 기존 SAM 3D 모델을 기반으로 삼습니다. 디노이징 과정에서 가시성 편향 어텐션, 다중 관측 융합, 미분 가능 렌더링 가이던스를 적용해 생성되는 외형이 원본 관측 데이터를 충실히 따르도록 유도합니다.

위치와 자세의 경우, 기하 정보로부터 이동과 스케일을 직접 계산해 오차를 줄이고, 사전 학습된 회전 분포를 그대로 활용해 객체가 허공에 뜨거나 왜곡되는 현상을 막았습니다.

생성 후 단계에서는 추가 미세 조정 메커니즘을 제공합니다. 생성된 3D 형상과 원본 이미지를 지속적으로 비교 대조하며, 경량 디코더 어댑터와 외형 잠재 변수를 수정해 물체의 위치와 구조를 원래 캡처에 맞게 다듬습니다.

움직이는 물체의 시계열 형상이 주어지더라도 월드 좌표계 상에서 안정적인 배치와 정렬된 표준 외형을 안정적으로 복원해 냅니다.

성능과 오픈소스 현황

합성 데이터셋과 실제 환경 벤치마크 평가 결과, GenIA는 기존의 최적화 기반 모델, 단일 프레임 이미지 투 3D, 비디오 투 4D 기법들을 모두 넘어서는 자세 추정 및 기하 재구성 성능을 보였습니다.

현재 전체 소스코드가 공개되어 있으며, 프로젝트 페이지에서 로컬 컴퓨터 다운로드 및 구동 가이드를 확인할 수 있습니다.

다만 라이선스는 크리에이티브 커먼즈 비상업적 라이선스(CC Non-Commercial)로 배포되었기 때문에 상업적 프로덕션 파이프라인에 곧바로 적용하는 것은 불가능하며 연구 및 개인 실험 용도로 제한됩니다.

왜 중요한가

기반 모델을 재학습하는 데 막대한 연산 비용을 쏟아붓는 대신, 추론 단계의 정렬 가이던스로 실측과의 괴리를 메운 방식은 기술적으로 매우 영리합니다. 인프라 부담 없이 결과물의 정밀도를 비약적으로 끌어올릴 수 있기 때문입니다.

3D 에셋 제작자나 컴퓨터 비전, 로보틱스 연구자라면 지금 바로 코드를 내려받아 테스트해 볼 가치가 충분합니다. 비상업 라이선스라는 제약이 있지만, 개인 작업 흐름에서 2D 미디어를 프로토타입 3D 에셋으로 빠르게 전환하는 도구로 유용하게 쓸 수 있습니다.