듬성듬성한 3D 재구성 복원하는 ArtiFixer：확산 모델로 빈 배경과 디테일 채운다

스마트폰으로 대충 찍은 사진 두세 장으로 3D Gaussian Splatting 같은 기술을 써서 입체 공간을 만들려 하면 처참한 결과가 나오기 일쑤입니다. 카메라 시점을 조금만 돌려도 배경이 찢어지고 공중에 기괴한 아티팩트가 둥둥 떠다닙니다.

연구진은 이렇게 사진이 턱없이 부족할 때 생기는 결함을 복원해 주는 새로운 프레임워크 ArtiFixer를 공개했습니다. 확산 모델을 활용해 촬영되지 않은 사각지대와 배경 디테일을 자연스럽게 채워 넣는 기술입니다.

기존 디테일은 지키고, 빈자리는 채우는 2단계 전략

생성형 AI로 3D 장면의 흠집을 고치는 시도는 이전에도 있었지만 두 가지 고질병이 있었습니다. 기존 방식은 단일 이미지 확산 모델이나 짧은 영상 모델을 사용했기 때문에 한 번에 생성할 수 있는 시점 수가 적어, 시점 간 일관성을 맞추기 위해 무겁고 비싼 증류 과정을 반복해야 했습니다. 또한 생성된 내용이 기존 사물과 따로 놀거나, 아예 촬영되지 않은 구역에서는 형태가 완전히 무너지는 문제도 있었습니다.

ArtiFixer는 이 문제를 영리한 2단계 파이프라인으로 풀었습니다. 연구진은 먼저 불투명도 혼합 전략을 적용한 양방향 생성 모델을 학습시켰습니다. 이미 관측된 영역의 사실성은 엄격하게 유지하면서, 보이지 않는 사각지대에는 새로운 구조를 자연스럽게 외삽해 채워 넣도록 만든 것입니다.

그다음 이 모델을 인과적 자기회귀 모델로 증류했습니다. 이 덕분에 한 번의 추론만으로 수백 개의 연속 프레임을 단번에 뽑아낼 수 있습니다. 이렇게 생성된 프레임들은 새로운 시점 영상으로 바로 활용되거나, 기본 3D 모델에 의사 지도 신호로 입력되어 장면 전체의 완성도를 효율적으로 끌어올립니다.

어수선한 주방도, 비어 있던 배경도 매끄럽게

논문에 제시된 예시를 보면 야외 풍경은 물론 복잡한 분재, 식기류가 널브러진 주방 조리대와 거실처럼 까다로운 실내 공간에서도 파편화된 구조와 노이즈가 눈에 띄게 개선됐습니다.

특히 원본 사진에 아예 담기지 않았던 배경의 빈 공간까지 비교적 자연스러운 벽면이나 공간감으로 메워냅니다. 공인 벤치마크 데이터셋 측정 결과, 기존 최고 수준의 방식들보다 PSNR 기준 1~3dB 더 높은 수치를 기록했습니다.

다만 당장 직접 써볼 수는 없습니다. 이번 발표는 arXiv 논문 공개 수준이며, GitHub 저장소가 개설되지 않아 아직 코드가 오픈소스로 풀리지 않은 상태입니다.

왜 중요한가

일반 사용자나 3D 그래픽 제작자에게 가장 큰 진입 장벽은 데이터 촬영이었습니다. 방 하나를 3D 에셋으로 만들기 위해 방 안을 돌며 수십, 수백 장의 사진을 찍는 일은 몹시 번거롭습니다. 사진 몇 장으로도 그럴듯한 3D 장면을 복원할 수 있다면 공간 비디오와 가상 환경 제작 문턱이 확 낮아집니다.

기술적 구조 측면에서도 ArtiFixer의 선택은 돋보입니다. 복잡한 다중 시점 일관성 계산을 무한 반복하는 대신, 비디오 생성 능력을 빌려 한 번에 수백 프레임을 뽑아내고 이를 3D 공간에 다시 투영하는 방식은 매우 실용적입니다.

우리가 보기에 이 방식의 한계는 결국 생성 모델 특유의 환각 현상에 있습니다. 촬영되지 않은 배경을 채워 넣는 것은 어디까지나 확률에 기반한 추정입니다. 게임이나 가상 쇼룸 같은 콘텐츠 제작에는 훌륭한 도구가 되겠지만, 오차가 치명적인 산업 계측이나 건축 현장 점검 같은 정밀 작업에서는 맹신하기 어렵습니다.