AI 영상의 ‘기억력’ 늘리는 모자이크 청크 오픈소스 공개

모자이크 청크(Mosaic Chunk)는 AI 비디오 생성 모델에 장기 기억 시스템을 추가해, 피사체가 화면 밖으로 사라졌다 돌아와도 형태가 망가지지 않도록 돕는 오픈소스 프로젝트다.

기존 비디오 모델의 고질적인 문제는 지속성 부족이었다. 특정 사물이나 인물이 시야에서 몇 초만 벗어나도 모델은 원래 생김새를 잊어버리고 전혀 다른 모습으로 그려내곤 했다. 모자이크 청크는 이 기억 상실 문제를 해결한다.

어떤 역할을 하나

이전의 모든 프레임을 통째로 저장하는 방식은 비디오 생성 시 메모리 부담이 너무 크다. 모자이크 청크는 무작정 모든 장면을 보관하는 대신, 앞선 프레임에서 중요한 세부 정보만 골라 기억하는 방식을 택했다.

영상 초반 프레임에서 핵심 시각 정보를 식별해 보관해 두었다가, 이후 해당 요소가 다시 필요해지는 순간 꺼내어 쓰는 원리다.

공개된 시연 영상을 보면 사물이 몇 초 동안 가려지거나 화면 밖으로 나갔다 돌아와도 원래 외형을 고스란히 유지하며, 배경 환경의 일관성도 깨지지 않고 이어진다.

작동 방식과 실행 방법

프로젝트는 코드와 사전 학습 모델 가중치를 모두 공개했으며, 로컬 PC에서 직접 내려받아 구동할 수 있는 상세 가이드를 제공한다.

작업 방식에 따라 두 가지 모델이 나뉘어 있다는 점을 알아둘 필요가 있다. 텍스트 투 비디오 버전은 MiniMax H3 기반으로 제작되었고, 이미지 투 비디오 버전은 Ling World Infinity 기반으로 개발되었다.

직접 테스트해보려면 프로젝트 페이지의 코드 섹션으로 이동해 스크롤을 내리면 나오는 안내에 따라 로컬 환경에 설치하고 실행하면 된다.

왜 중요한가

AI 영상이 실제 스토리텔링 도구로 자리잡기 위한 핵심 관건은 프레임 간의 일관성이다. 무리하게 컨텍스트 길이를 늘리지 않고 필요한 순간 특징을 검색해 불러오는 선별적 기억 구조를 택했다는 점에서 매우 영리한 접근이다.

로컬 환경에서 오픈소스 비디오 모델을 다루며 캐릭터 일관성 문제로 고민하던 제작자나 개발자라면 즉시 내려받아 테스트해볼 만하다.