텐센트, 대화를 영화급 영상으로 만드는 'ScriptAgent' 공개

AI 영상 모델로 단편을 만들어본 사람이라면 누구나 겪는 문제가 있습니다. 몇 초짜리 단일 컷은 감탄이 나올 만큼 훌륭하지만, 대화로 이어지는 스토리를 구현하려고 하면 장면과 서사가 순식간에 어긋나 버린다는 점입니다.

텐센트는 이러한 아이디어와 영상 연출 사이의 간극을 메우기 위해, 단순 대화문을 영화 수준의 영상으로 바꾸는 엔드투엔드 프레임워크 ScriptAgent를 발표했습니다.

가상 제작진으로 나뉜 세 가지 에이전트

ScriptAgent의 핵심은 하나의 영상 모델에 모든 연출을 맡기지 않고, 전문적인 역할을 나눈 에이전트 제작진을 구성했다는 데 있습니다.

프레임워크는 세 가지 특화 에이전트로 나뉘어 협업합니다.

먼저 각본 작성 에이전트는 지도 미세조정(SFT)과 GRPO 강화학습으로 훈련되었습니다. 대략적인 대화 텍스트를 카메라 구도와 행동 지침이 담긴 정밀한 영화 대본으로 확장합니다.

그 다음 DirectorAgent(감독 에이전트)가 최신 영상 생성 모델들을 조율합니다. 여러 장면을 매끄럽게 잇는 연속 생성을 제어해 긴 호흡에서도 일관성을 유지하도록 돕습니다.

마지막으로 CriticAgent(평가 에이전트)가 기술적 완성도와 영화적 연출 수준을 종합적으로 검토해 품질을 다듬습니다.

화려한 비주얼과 대본 준수 사이의 충돌

연구진은 Sora2-Pro, Veo3.1, Wan2.6, 그리고 텐센트 자체 모델인 HYVideo1.5를 대상으로 테스트를 진행했습니다.

결과는 명확했습니다. 체계적인 대본 파이프라인을 거치자 테스트한 모든 모델에서 대본 충실도가 최대 0.4점 향상되었습니다.

전문가 평가에서도 드라마틱 텐션 점수가 3.7점에서 4.1점으로 올랐고, 시각적 묘사 점수 역시 3.8점에서 4.3점으로 상승했습니다.

자체 시각-대본 정렬 지표인 VSA에서는 시간 및 의미적 일관성이 7점 이상 개선되었습니다.

주목할 만한 발견도 있었습니다. 연구진은 현재 최상위 영상 모델들이 화려한 시각적 연출과 엄격한 대본 준수 사이에서 근본적인 줄타기를 하고 있다는 점을 짚어냈습니다. 이와 함께 관련 연구를 위한 벤치마크인 ScriptBench도 공개했습니다.

왜 중요한가

영상 크리에이터와 독립 창작자에게 이 프레임워크는 단발성 프롬프트 실험을 넘어 실제 이야기 중심의 영상을 제작할 수 있는 현실적인 길을 열어줍니다.

지금까지는 컷마다 프롬프트를 쪼개 넣고 일관성이 깨지지 않기를 기도해야 했습니다. 각본, 연출, 검수를 자동으로 엮어주는 시스템이 자리 잡는다면 제작 효율은 크게 뛸 것입니다.

산업적 관점에서도 영리한 전략입니다. 텐센트는 완전히 새로운 기초 영상 모델을 처음부터 학습시키는 대신, 타사 모델까지 아우르는 지휘통제 프레임워크를 선점했습니다.

다만 하부 영상 모델 자체가 가진 물리 법칙 왜곡이나 해부학적 오류까지 에이전트가 완벽히 막아설 수는 없다는 한계는 여전히 존재합니다.

그럼에도 단일 모델의 성능에만 매달리던 AI 영상 제작을 다중 에이전트의 분업 체계로 전환한 시도는 앞으로 주목할 만한 변화입니다.