PermaVid: 외형과 3D 구조 분리 기억으로 AI 동영상 편집 일관성 유지

AI로 동영상을 편집해 본 사람이라면 누구나 겪어봤을 답답한 순간이 있습니다. 영상 초반에 인물의 겉옷을 가죽 재킷으로 바꿨는데, 몇 초 지나지 않아 원래 옷으로 돌아가거나 얼굴 생김새까지 엉뚱하게 변해버리는 현상입니다.

기존 생성형 동영상 모델은 시간 축에 따른 일관성을 유지하는 능력이 크게 떨어집니다. 한 번 수정을 가하면 기존에 저장되어 있던 시각적 맥락이 무효화되면서, 모델이 방금 자신이 무엇을 바꿨는지 잊어버리기 일쑤였습니다.

공개된 동영상 편집 프레임워크 PermaVid는 바로 이 '기억상실' 문제를 정면으로 겨냥했습니다. 복잡한 장면을 한 덩어리로 기억하는 대신, 영상의 '겉모습'과 '3D 뼈대'를 따로 떼어내 저장하는 방식입니다.

시각적 외형과 3D 깊이 구조의 분리 기억

PermaVid의 핵심은 공간적 맥락을 의미적 외형과 기하학적 구조로 분리해 처리하는 멀티모달 컨텍스트 메모리 설계에 있습니다.

첫 번째는 RGB 컨텍스트 메모리입니다. 색상, 질감, 조명과 같은 시각적 의미 정보를 담아내며 관측된 시점 정보를 보존합니다.

두 번째는 깊이(Depth) 컨텍스트 메모리입니다. 색상이나 스타일에는 관여하지 않고, 장면 내부의 순수한 3D 기하학 구조와 공간 배치만을 전담하여 유지합니다.

여기에 편집을 감지해 메모리를 갱신하고 검색하는 전략이 더해져, 영상 수정 시 일관성을 극대화합니다.

예를 들어 실사 배경을 애니메이션 스타일로 바꾸는 전체 스타일 편집을 진행할 경우, 깊이 메모리가 건물과 거리의 3D 원근법을 단단히 고정해 줍니다. 시각 스타일이 바뀌어도 배경이 일그러지거나 공간이 무너지는 참사가 발생하지 않습니다.

특정 물체만 바꾸는 국소 편집에서도 마찬가지입니다. 테이블 위의 소품 하나를 교체하면 해당 영역의 외형 메모리만 정밀하게 갱신되므로, 주변 배경과 조명 구조는 온전히 유지됩니다.

현재 PermaVid는 논문과 함께 코드를 공개한 상태이며, 로컬 PC에 내려받아 직접 구동해 볼 수 있는 설치 안내를 제공하고 있습니다.

왜 중요한가

생성형 동영상이 단순한 데모 시연을 넘어 실제 프로덕션 파이프라인에 편입되기 위해 반드시 넘어야 할 산이 바로 반복 수정 가능한 일관성입니다.

영상 크리에이터 입장에서 PermaVid가 제시한 구조는 실질적인 가치를 지닙니다. 이전까지는 사소한 수정 하나 때문에 수십 번씩 다시 뽑기를 반복하거나 외부 툴에서 프레임 단위로 누끼를 따야 했습니다. 모델이 편집 이력을 안정적으로 기억할 수 있다면 작업 시간과 비용을 크게 아낄 수 있습니다.

접근 방식도 영리하다고 봅니다. 무작정 모델 파라미터만 키워 AI가 스스로 맥락을 깨우치길 바라는 대신, 3D 깊이라는 명확한 기하학적 기준점을 분리해 diffusion 모델을 제어했습니다. 구조와 외형을 독립시킴으로써 한쪽의 변화가 다른 쪽의 왜곡을 유발하는 문제를 깔끔하게 피했습니다.

물론 로컬 환경에서 듀얼 메모리 검색과 깊이 추정을 병행해야 하는 만큼 추가적인 연산 부담이 존재하며, 복잡한 동적 장면에 대한 깊이 추정 정확도 역시 실무 적용 시 따져봐야 할 문제입니다. 그럼에도 AI의 건망증을 구조적으로 치료하려는 이 같은 시도는 동영상 편집의 실용성을 한 단계 끌어올린 중요한 이정표입니다.