롱폼 AI 영상 일관성 해결하는 'Any Time, Any Space' 오픈소스 공개

Any Time, Any Space(ATAS)는 롱폼 AI 영상 생성의 고질적 문제인 공간 왜곡과 장면 불일치를 해결하는 오픈소스 프레임워크다.

기존 영상 생성 모델은 인물이 방을 나갔다가 다른 컷을 거쳐 다시 돌아오면 방의 가구 배치나 구조가 제각각으로 바뀌곤 했다. ATAS는 카메라가 다른 공간으로 이동했다가 다시 복귀하더라도 원래 공간을 그대로 유지하도록 돕는다.

공간을 기억하는 구동 방식

기존 롱폼 영상 생성은 직전 프레임이나 프롬프트를 넘겨받는 방식에 의존해, 이전 샷의 3D 공간 좌표를 일관되게 복원하지 못했다.

ATAS는 각본을 위치, 카메라 앵글, 사건 발생 시점이 명시된 샷 단위 요청으로 변환한다. 영상을 렌더링하기 전, 3D 정적 기하학 정보가 담긴 장면 메모리와 시간별 동적 이벤트 메모리에서 필요한 단서를 먼저 검색해 모델에 전달한다.

생성이 끝나면 새로 만들어진 클립을 3D로 재구성하고 정렬 등록한다. 검토 및 상태 점검을 통과한 데이터만 메모리에 업데이트되므로, AI 환각이 공간 기억에 잘못 축적되는 현상도 방지한다.

호환성과 오픈소스 공개 현황

ATAS는 별도의 영상 파운데이션 모델이 아니라, 기존 영상 생성기에 장착해 사용하는 모듈형 프레임워크다.

논문에서는 알리바바의 Wan과 MiniMax H3를 포함한 4개의 비디오 생성 백본에서 검증을 마쳤다. 모든 백본에서 샷 간 일관성 지표를 끌어올렸으며 각각 최고 종합 벤치마크 점수를 기록했다.

공간 재방문 테스트에서도 기존 에이전트 방식이나 3D 가이드 방식을 앞섰고, 6가지 인간 평가 항목 전반에서 가장 높은 점수를 받았다.

현재 프로젝트 페이지와 깃허브 저장소에 코드와 영상 결과물이 모두 공개되어 있으며, 로컬 PC에서 직접 설치하고 구동할 수 있는 상세 가이드가 제공된다.

왜 중요한가

AI로 스토리 기반의 영상을 제작할 때 가장 큰 걸림돌은 앵글이 전환되거나 같은 장소로 되돌아올 때 배경이 무너지는 문제였다. ATAS는 거대 영상 모델을 처음부터 다시 학습시키지 않고도, 외부 3D 공간 및 시간 메모리 구조를 통해 높은 공간 안정성을 확보할 수 있음을 보여줬다.

개인 창작자나 개발자가 서사형 숏폼이나 데모 영상을 제작하려 한다면 지금 즉시 로컬에서 테스트해볼 가치가 충분하다. 컷마다 3D 재구성 과정을 거치므로 연산 시간과 하드웨어 부담은 늘어나지만, 무작위 재추출을 반복하는 비용을 감안하면 훨씬 영리한 접근이다.