스테이블 디퓨전 2.0 공개: 뎁스맵 기반 'depth2img'로 공간 구조 유지

Stable Diffusion 2.0이 정식 공개됐다. 이번 버전의 핵심 변화는 깊이 맵(depth map)을 기반으로 이미지를 변환하는 'depth2img' 기능의 탑재다. 기존 이미지 변환에서 빈번하게 발생하던 형태 왜곡을 줄이고, 원본의 3D 공간 구조를 단단하게 고정한 채 이미지를 생성할 수 있게 됐다.

이전까지의 img2img 작업 방식은 입력된 2D 픽셀과 텍스트 프롬프트에만 의존했다. 이 때문에 파라미터를 조금만 변경해도 인물의 얼굴 윤곽이나 사물의 투시, 방의 구조가 크게 뒤틀리는 문제가 있었다.

뎁스맵 추론 방식

형태 왜곡을 막기 위해 Stable Diffusion 2.0은 인텔과 취리히 연방공과대학교(ETH Zurich) 연구진이 개발한 단안 깊이 추론 모델 'MiDaS'를 채택했다. 단 한 장의 평면 2D 사진만으로도 공간의 원근과 입체적 깊이를 추산해 대략적인 뎁스맵을 만들어낸다.

스마트폰 인물 사진 모드에서 배경을 흐리게 처리하거나 얼굴 굴곡에 맞춰 조명을 조절할 때 쓰이는 원리와 유사하다.

AI가 이미지를 새로 그릴 때 이 깊이 정보를 가이드라인으로 삼기 때문에, 사물의 3차원 위치를 유지하면서 질감, 조명, 스타일만 원하는 대로 자연스럽게 변경할 수 있다.

그레이박스 모델링과 애니메이션 실험

이 기능은 3D 아티스트와 VFX 작업자들에게 즉각적인 작업 효율 개선을 제공한다. 복잡한 디테일을 모델링할 필요 없이 기본 도형으로 공간 배치와 구도만 잡은 '그레이박스(greybox)'를 만든 뒤, depth2img를 통해 수많은 아트 콘셉트와 조명 설정을 빠르게 시각화할 수 있다.

3D 툴은 기본적으로 Z축 깊이 정보를 정확하게 출력할 수 있으므로, 향후 Blender 등의 플러그인이 나오면 알고리즘 추론을 거치지 않고도 정밀한 뎁스 패스를 곧바로 연동할 수 있을 것으로 보인다.

크리에이터 CoffeeVectors는 일반적인 3D 캐릭터 걷기 애니메이션에 depth2img를 적용해 사실적인 머리카락 질감과 얼굴 조명을 입히는 실험을 공개했다. 프레임 간 떨림 현상은 다소 남아 있지만, 애니메이션 렌더링 파이프라인에서의 활용 가능성을 충분히 보여줬다.

나아가 사진측량(Photogrammetry), 라이다(LiDAR) 스캔, NeRF 기술과 뎁스 정보를 결합하는 현실 리스킨(reskin) 작업으로도 확장이 가능하다.

왜 중요한가

3D 디자이너와 콘셉트 아티스트에게 depth2img는 당장 작업에 도입해 볼 가치가 있는 도구다. 결과물을 예측하기 힘들었던 기존 생성형 AI를 구도 통제가 가능한 생산성 도구로 끌어올렸기 때문이다. 간단한 3D 더미 데이터만 만들 수 있다면 아이디어 기획 시간을 대폭 줄일 수 있다.

우리는 2D 생성 모델에 3차원 깊이 정보를 접목한 선택이 매우 영리한 방향이라고 본다. 모델 크기만 키우거나 프롬프트를 길게 쓰는 방식으로는 2D 이미지의 공간 왜곡 한계를 해결하기 어렵기 때문이다. 프레임 간 안정성과 뎁스 추론 경계의 정밀도는 여전히 보완이 필요하지만, 3D 소프트웨어와 AI를 잇는 실질적인 연결고리를 마련했다는 점에서 의미가 크다.