알리바바, 추가 학습 없이 장면을 매끄럽게 잇는 '프롬프트 릴레이' 공개

하나의 긴 프롬프트로 여러 장면이 이어지는 영상을 만들다 보면, 앞 장면의 요소가 뒷장면에 불쑥 튀어나오는 현상을 자주 겪게 됩니다. '숲속을 걷는 사람' 다음으로 '달에 착륙한 우주비행사'를 묘사하면, 우주복을 입은 채 숲을 헤매는 식의 의미 엉킴(Semantic Bleeding)이 일어나는 탓입니다.

동영상 확산 모델이 여러 사건의 시간적 순서를 다루는 데 애를 먹고 있는 가운데, 4월 11일 알리바바가 추가 학습 없이 이를 해결하는 기술인 '프롬프트 릴레이(Prompt Relay)'를 발표했습니다.

이어달리기처럼 바통을 넘기는 프롬프트

기존 영상 생성기는 긴 문단 형태의 텍스트를 받으면 어느 시점에 어떤 지시어를 집중적으로 반영해야 할지 명확히 제어하지 못했습니다.

프롬프트 릴레이는 이름 그대로 육상 계주처럼 작동합니다. 사용자가 프롬프트마다 시작과 끝 시간을 지정해 두면, 추론 시점에 해당 시간대의 프롬프트를 교차 주의 집중(Cross Attention) 계층에서 적절하게 분배해 줍니다.

공개된 시연 영상을 보면 전환이 무척 자연스럽습니다. 초반 2초 동안 하늘을 나는 독수리가 나오다가, 사이버펑크 도시를 달리는 자동차로 매끄럽게 바뀌고, 이어 거실의 TV 화면에서 카메라가 줌아웃되는 거대한 장면 전환을 한 편의 영상으로 엮어냈습니다.

인물이 손으로 카메라 렌즈를 가렸다가 떼는 순간 배경이 도시에서 사막으로 바뀌는 연출에서도, 앞뒤 장면의 요소가 서로 뒤섞이지 않고 깔끔하게 떨어집니다.

모델 재학습도, 추가 연산도 없는 영리함

가장 눈길을 끄는 대목은 모델 구조를 뜯어고치거나 별도의 파인튜닝을 거칠 필요가 없는 플러그 앤 플레이 방식이라는 점입니다.

핵심은 교차 주의 집중 메커니즘에 거리 기반 페널티 항을 주입한 데 있습니다. 각 프롬프트에 지정된 시간 구간 중심에서는 자유롭게 집중 점수를 받지만, 구간 경계를 벗어날수록 시간 거리에 비례해 감쇠 페널티를 부과합니다.

덕분에 지정된 시간 이외의 프롬프트가 화면에 간섭하는 일을 막아주면서도, 경계선 부근에서는 부드러운 감쇠 곡선을 그려 화면이 뚝 끊기지 않고 자연스럽게 이어집니다.

현재 공식 프로젝트 페이지에 구현 설명이 올라왔으며, 실제 코드 파일 배포는 며칠 내로 완료될 예정입니다.

왜 중요한가

영상 제작자와 1인 창작자 입장에서 여러 사건이 연속되는 롱테이크식 서사를 구현하기가 훨씬 수월해집니다.

지금까지는 장면마다 개별 클립을 뽑아 편집 툴에서 트랜지션을 주거나 별도 합성 작업을 거쳐야 해 제작 품이 많이 들었습니다. 프롬프트 단계에서 시간 타임라인만 지정해 한 번에 전환을 뽑아낼 수 있다면 제작 속도가 크게 빨라집니다.

거대한 제어용 어댑터를 덧붙여 하드웨어 부담을 늘리는 대신, 주의 집중 연산식의 감쇠 설계만으로 문제를 해결한 알리바바의 접근법은 매우 똑똑해 보입니다.

다만 완전한 씬 전환이 아니라, 영상 전체에 걸쳐 주인공의 외형을 유지하면서 배경만 차례로 바꾸는 복합적인 연출에서도 프롬프트가 과도하게 억제되지 않고 일관성을 지켜낼지는 지켜볼 필요가 있습니다. 실제 작업 파이프라인에서 어느 정도 위력을 발휘할지는 완전한 오픈소스 공개 이후 검증될 것입니다.