4GB 미만 가벼운 3D 복원 모델 'tttLRM' 오픈소스 공개…전선·글자까지 세밀하게 재현

3D 가우시안 스플래팅(3DGS)을 직접 다뤄본 분들이라면, 결과물 주변에 뿌옇게 끼는 안개형 노이즈와 둥둥 떠다니는 파편 때문에 골치를 앓은 적이 많을 겁니다.

연구진은 새로운 3D 복원 모델인 tttLRM을 오픈소스로 공개했습니다. 모델 크기가 4GB도 되지 않아 일반 소비자용 GPU에서도 가볍게 구동되는 것이 특징입니다.

안개 같은 노이즈를 걷어내고 전선과 텍스트까지 복원

기존 3DGS는 여러 각도의 사진을 처리할 때 일관성이 깨지며 연기 같은 잔상이 자주 남았습니다.

tttLRM은 이 문제를 눈에 띄게 개선했습니다. 공개된 사원과 정원 장면을 보면 공중에 떠다니는 잡음이 사라졌고, 배경 장식이나 패브릭의 질감까지 매끄럽게 살려냅니다.

특히 뭉개지기 쉬운 미세한 영역의 복원력이 돋보입니다. 야외 장면의 얇은 전선이나 포스터 속 아주 작은 글자까지 또렷하게 복원해 냅니다.

넓은 공간 전체를 스캔하는 작업뿐만 아니라, 단일 물체를 여러 각도에서 찍어 고품질 가우시안 스플랫으로 뽑아내는 작업도 안정적으로 해냅니다.

테스트 시간 훈련으로 사진을 효율적으로 압축하다

작은 모델 크기로 디테일을 잡을 수 있었던 비결은 테스트 시간 훈련(TTT) 방식에 있습니다.

사진 수가 늘어날 때 연산량이 기하급수적으로 치솟는 것을 막기 위해, tttLRM은 선형 복잡도를 지닌 TTT 레이어를 적용했습니다. 사진을 입력받는 즉시 fast weights라 불리는 내부 파라미터를 빠르게 업데이트하며 다각도 시각 정보를 효율적으로 압축합니다.

잠재 공간에서 암시적 3D 표현을 만든 뒤 이를 명시적인 3D 가우시안으로 변환하는 방식입니다. 스트리밍 방식으로 사진을 연속 입력받으며 점진적으로 3D 형상을 다듬는 온라인 학습도 지원합니다.

프로젝트 코드는 설치 가이드와 함께 GitHub에 공개되었으며, Hugging Face에 등록된 모델 용량은 4GB 미만입니다. 일반 가정용 PC의 그래픽카드에서도 무리 없이 돌아갑니다.

왜 중요한가

우리는 tttLRM이 인디 개발자나 3D 그래픽 제작자의 실무 진입 장벽을 실질적으로 낮춰준 프로젝트라고 봅니다.

그동안 3DGS 스캔을 제대로 쓰려면 값비싼 클라우드 연산을 돌리거나, 결과물에 덕지덕지 붙은 노이즈를 수작업으로 지워내는 번거로움을 감수해야 했습니다. 소비자용 GPU 한 장으로 깨끗한 에셋을 로컬에서 바로 뽑아낼 수 있다는 점만으로도 당장 테스트해 볼 가치가 충분합니다.

기술적으로도 LLM 진영에서 떠오른 TTT 개념이 3D 멀티뷰 압축에 얼마나 잘 들어맞는지를 입증했습니다. 시점 수가 늘어나도 연산 부하가 선형적으로 유지되는 구조는 향후 온디바이스 공간 컴퓨팅 분야에 강력한 대안이 될 수 있습니다.

다만 전선이나 텍스트 같은 얇은 구조물 복원에 강점을 보이는 것과 별개로, 빛 반사가 심하거나 촬영 사각지대가 넓은 장면에서는 여전히 물리적인 한계가 존재할 수 있습니다. 그럼에도 불필요한 거품을 걷어내고 컴팩트하게 배포된 도구인 만큼, 3D 캡처 워크플로를 다루는 분들에게는 훌륭한 출발점이 될 것입니다.