영상 단 한 편으로 AI 카메라 앵글 제어…‘Warp-as-History’ 공개

AI 비디오 생성에서 카메라 움직임을 원하는 대로 연출하는 일은 늘 까다로운 과제였습니다. 지금까지는 별도의 카메라 인코더를 덧붙이거나 대규모 데이터셋을 활용해 전용 제어 네트워크를 밑바닥부터 학습시키는 방식이 대부분이었습니다.

상하이교통대와 상하이 AI 랩 등 연구진이 공개한 ‘Warp-as-History’는 발상을 완전히 바꿨습니다. 생성 모델의 기본 골격을 전혀 뜯어고치지 않고도, 카메라 정보가 달린 단 한 편의 영상으로 가벼운 LoRA 튜닝만 거치면 학습한 적 없는 새로운 장면에서도 정밀한 구도 제어를 해냅니다.

카메라 궤적을 ‘지난 기억’으로 위장하다

최신 비디오 디퓨전 모델은 본래 이전 프레임들의 맥락을 보고 다음 장면을 자연스럽게 이어 붙이는 능력을 갖추고 있습니다. Warp-as-History는 새로운 제어 모듈을 추가하는 대신 이 기존 통로를 파고들었습니다.

원하는 카메라 궤적에 맞춰 첫 프레임을 기하학적으로 왜곡한 뒤, 이를 모델이 참조하는 일반적인 과거 시각 기록으로 둔갑시켜 입력합니다. 모델 입장에서는 새로운 제어 명령을 해석하는 것이 아니라, 방금 지나간 장면을 기억하며 다음 프레임을 그리는 셈입니다.

시점이 회전하면서 원래 프레임에 없던 사각지대가 드러나면, 정보가 없는 무효 토큰을 과감하게 버립니다. 가려졌던 배경이나 새로운 각도는 사전 학습 모델이 본래 가지고 있던 공간 상상력을 활용해 자연스럽게 채워 넣도록 유도합니다.

왜 영상 단 한 편으로 충분했을까

연구진에 따르면 아무런 튜닝도 거치지 않은 순수 모델조차 이러한 왜곡 프레임을 입력받으면 기본적인 카메라 추종 성향을 드러냅니다.

따라서 추가 학습의 부담이 획기적으로 줄어듭니다. 카메라 궤적이 기록된 단 하나의 영상 샘플만 사용해 가벼운 오프라인 LoRA 파라미터 미세조정을 거치는 것으로 충분했습니다.

이 튜닝의 목적은 새로운 화풍을 배우는 것이 아니라, 언제 왜곡된 시각 단서를 엄격히 따르고 언제 생성기의 자체 상상력에 맡겨 장면을 채울지 그 기준을 조율하는 일입니다. 이 과정을 거친 LoRA는 미학습 장면과 복잡한 궤적에서도 뛰어난 일반화 성능을 보여주며, 키보드 조작을 통한 실시간 시점 이동까지 매끄럽게 지원합니다.

왜 중요한가

우리는 이 연구가 외부 제어 장치를 덕지덕지 붙이는 대신, 모델 고유의 맥락 처리 능력을 영리하게 활용했다는 점에서 매우 돋보인다고 평가합니다.

크리에이터와 1인 개발자에게는 연출 제어에 필요한 컴퓨팅 장벽이 비약적으로 낮아진다는 실질적인 의미가 있습니다. 거대 기업이 무거운 제어 모듈을 배포해주길 기다릴 필요 없이, 오픈 비디오 모델에 가벼운 LoRA 하나를 얹어 정밀한 시네마틱 카메라를 구현할 수 있게 됩니다.

산업 전반에서도 Genie 3와 같은 인터랙티브 세계 모델이나 실시간 시뮬레이션 환경을 구축하는 비용을 크게 덜어낼 것으로 보입니다.

다만 프레임의 기하학적 왜곡을 기본 단서로 삼는 방식인 만큼, 시점이 180도 뒤집히거나 심한 가림 현상이 나타나는 극한의 각도에서는 최종 품질이 기저 모델 자체의 배경 상상력 한계에 크게 좌우된다는 점을 감안해야 합니다.