깨진 3D 렌더링 복구하는 AI, 오픈소스 'FixAnything' 공개

FixAnything은 망가진 3D 렌더링 영상을 말끔하게 다듬어 주는 오픈소스 복구 도구다. 3D 가우시안 스플래팅(3DGS), NeRF, 메시, 희소 포인트 클라우드 등 어떤 방식으로 복원한 장면이든, 새로운 시점에서 발생하는 구멍이나 허공에 떠다니는 노이즈를 비디오 확산 모델을 통해 깨끗하고 자연스러운 영상으로 바꿔준다.

3D 공간 복원을 다뤄본 사람이라면 사각지대 문제를 익히 알고 있을 것이다. 원본 사진을 촬영한 시점에서는 완벽해 보이지만, 카메라가 촬영 범위를 조금만 벗어나면 기하학적 구조가 깨지며 잔상이 남발한다. FixAnything은 원본 3D 데이터를 붙잡고 씨름하는 대신, 손상된 렌더링 영상을 비디오 생성 모델의 입력값으로 사용하는 영리한 우회로를 택했다.

비디오 AI에 기하학적 나침반을 달다

심하게 깨진 렌더링 화면이라도 카메라 이동 궤적과 대략적인 공간 윤곽선 정보는 고스란히 담고 있다. FixAnything은 이 불완전한 결과물을 비디오 모델의 정밀한 카메라 제어 신호로 활용한다.

기반 모델로는 오픈소스 비디오 확산 모델인 Wan2.1-I2V-14B를 사용했다. 약 20쌍의 영상 데이터만으로 LoRA 미세조정을 거쳐, 모델이 거친 포인트 클라우드나 깨진 메시를 카메라 움직임 지침으로 이해하도록 학습시켰다.

프레임마다 형태가 왜곡되는 인공적인 환각을 막기 위해 Flow-DPO 강화학습 기법을 적용했다. 생성된 영상에서 COLMAP 알고리즘으로 카메라 위치를 역추적해, 3D 기하학적 일관성이 높은 결과물에 보상을 주는 방식이다. 또한 원본 촬영 프레임을 고정 기준점으로 삼아 실제 디테일은 유지하면서 결함 부위만 자연스럽게 채워 넣는다.

실행 방법과 하드웨어 요구 사양

FixAnything의 전체 코드와 가중치는 GitHub 및 Hugging Face에 Apache 2.0 라이선스로 공개되어 있으며, ModelScope를 통한 다운로드도 지원한다.

기본적으로 카메라 이동 경로를 따라 렌더링된 61프레임(832x480 해상도) 영상을 입력값으로 받는다. 경로가 길면 자동으로 겹치는 구간을 나눠 처리한다. 만약 보유한 데이터가 사진 몇 장뿐이라면, 함께 제공되는 MapAnything 파이프라인을 통해 간이 3D 장면을 생성한 뒤 곧바로 FixAnything으로 보정할 수 있다.

구동 환경은 PyTorch 2.6과 CUDA 12 기반이며 FlashAttention-2 설치가 권장된다. 다만 기반이 되는 Wan2.1 모델 용량만 약 60GB에 달하는 14B 규모이므로, 로컬에서 원활하게 돌리려면 대용량 VRAM을 갖춘 전문가용 GPU가 필요하다.

왜 중요한가

3DGS나 공간 스캔 기반으로 워크스루 영상을 제작하는 창작자에게 상당한 작업 시간 단축을 가져다줄 도구다. 그동안은 사각지대의 지저분한 노이즈를 지우기 위해 수작업 클린업을 하거나 카메라 궤적을 인위적으로 제한해야 했다. FixAnything을 사용하면 거칠게 뽑아낸 초안 렌더링만으로도 곧바로 완성도 높은 결과물을 얻을 수 있다.

우리는 생성형 비디오 모델의 공간 이해도를 3D 복원 분야에 접목한 훌륭한 실용 사례라고 본다. 복잡한 3D 가우시안 포인트를 직접 수정하는 대신 최종 결과물인 비디오 단계에서 일관성을 맞추는 실용적인 타협을 취했다. 3D 자산 자체가 아닌 비디오 파일로 출력된다는 한계는 있지만, 최종 납품 포맷이 영상인 크리에이터들에게는 즉각적인 구원투수가 될 수 있다.