TTT 아키텍처, 비디오 생성 접목: 1분 분량 연속 애니메이션 구현

대부분의 AI 비디오 생성 모델은 5초 내외의 짧은 클립에서는 그럴듯한 결과물을 내지만, 길이가 1분 단위로 넘어가면 여지없이 무너집니다. 장면이 바뀌면 캐릭터의 얼굴이나 옷이 변하고, 방의 구조가 뒤바뀌며, 복잡한 서사를 이어가기가 불가능에 가깝습니다.

Xiaolong Wang 연구팀은 테스트 시점 훈련(Test-Time Training, TTT) 방식을 비디오 디퓨전 트랜스포머(DiT)에 도입하여 캐릭터와 서사가 이어지는 1분 길이의 만화 비디오를 생성하는 연구를 공개했습니다.

은닉 상태 자체를 신경망으로 설계한 기억 장치

기존 트랜스포머는 비디오 길이가 길어질수록 셀프 어텐션 연산량이 급증해 장시간 비디오를 다루기 어렵습니다. 맘바(Mamba)나 슬라이딩 윈도우 어텐션 같은 대안은 연산 효율은 높지만 은닉 상태의 표현력이 부족해 복잡한 멀티 씬 스토리를 감당하지 못합니다.

연구진은 TTT 레이어로 이 난제를 풀고자 했습니다. TTT는 명시적인 메모리 구조를 갖춘 RNN 모듈처럼 작동하지만, 은닉 상태 자체를 머신러닝 모델로 구성하여 추론 과정에서 경사하강법을 통해 기억을 업데이트합니다.

연구팀은 사전 학습된 5B 트랜스포머에 TTT 레이어를 추가한 뒤 톰과 제리 기반 데이터셋으로 검증을 진행했습니다. 제리가 부엌에서 치즈를 먹다가 톰의 장난에 화가 나 짐을 싸서 샌프란시스코로 떠나고, 톰이 발자국을 따라가 골목길에서 치즈를 건네며 화해한다는 복잡한 줄글 콘티를 입력하자 1분짜리 연속 비디오가 생성되었습니다.

인간 평가자 100회 비교 테스트에서 TTT 방식은 Mamba 2, Gated DeltaNet, 슬라이딩 윈도우 어텐션 대비 Elo 점수에서 34점 앞섰습니다. 기존 방식들이 톰의 신체를 왜곡하거나 제리가 파이를 훔치는 장면을 중복 복제하는 오류를 낸 반면, TTT는 시점과 씬이 전환되어도 캐릭터 일관성을 안정적으로 유지했습니다.

개념 검증 단계, 눈에 띄는 기술적 한계

기술적 가능성은 입증했지만 화면 속 어색한 부분은 여전히 명확합니다.

연구진이 공개한 한계점에 따르면 3초 단위 구간 사이에서 상자의 형태가 일그러지거나, 바닥으로 떨어져야 할 치즈가 공중에 멈춰 떠 있고, 톰이 뒤를 돌아볼 때 부엌 조명이 갑자기 지나치게 밝아지는 등의 아티팩트가 관찰되었습니다. 이는 사전 학습에 쓰인 5B 모델의 한계와 비효율적인 시스템 구현 때문이며, 연구진은 자원 제약으로 이번엔 1분만 실험했지만 더 긴 비디오로 확장이 가능하다고 밝혔습니다.

왜 중요한가

콘텐츠 제작자 입장에서 현재의 AI 비디오 도구는 5초짜리 클립을 끝없이 뽑아 이어 붙여야 하는 가내수공업에 가깝습니다. 만약 TTT 방식이 발전해 텍스트 콘티 한 장으로 다중 씬의 일관성을 온전히 잡아낼 수 있다면, 롱폼 영상 기획의 워크플로가 근본적으로 바뀔 수 있습니다.

다만 지금 당장 상용 툴처럼 쓸 수 있는 수준은 아닙니다. 5B 기반의 결과물이라 물리 법칙 오류나 광원 튐 현상이 뚜렷하기 때문에, 일반 크리에이터가 실무에 바로 도입하기에는 품질 격차가 큽니다.

그럼에도 이 연구는 무작정 컴퓨팅 자원을 쏟아부어 어텐션을 늘리거나 표현력이 빈약한 선형 모델에 타협하는 대신, 추론 시점에 학습하는 메모리 레이어를 비디오 생성에 접목했다는 점에서 매우 똑똑한 접근으로 보입니다. 대형 비디오 모델을 만드는 빅테크들이 이 구조를 본격적으로 채택할지 지켜볼 가치가 있습니다.