슬라이더로 영상 효과 강도 조절하는 '토큰다이얼' 논문 공개

AI로 영상을 만들어 본 사람이라면 누구나 비슷한 답답함을 겪어봤을 것이다. 폭발 장면 자체는 그럴듯한데 연기가 더 자욱했으면 좋겠거나, 인물의 춤 동작이 더 격렬했으면 하는 순간 말이다.

지금까지는 프롬프트에 형용사를 덧붙이며 원하는 결과가 나올 때까지 뽑기를 반복하는 수밖에 없었다. 하지만 그러다 보면 연기만 늘어나는 게 아니라 주인공의 얼굴이나 배경까지 엉뚱하게 바뀌기 일쑤였다. 3월 29일 논문이 공개된 토큰다이얼(TokenDial)은 이런 운 의존형 영상 생성을 슬라이더 조절 방식으로 바꾸려는 연구다.

연기 농도부터 동작 크기까지 슬라이더로 조절

토큰다이얼의 핵심은 텍스트-비디오 모델에 직관적인 '조절 슬라이더'를 달아주는 것이다.

폭발 장면에 연기를 더하고 싶다면 슬라이더를 오른쪽으로 밀기만 하면 연기 농도가 서서히 짙어진다. 모닥불 불꽃을 푸른빛으로 바꾸거나 오로라를 더 밝게 만드는 외형적 변화도 슬라이더 하나로 강도를 정밀하게 제어할 수 있다.

시각적 질감뿐 아니라 움직임의 크기도 제어 대상이다. 춤추는 사람의 동작을 더 과격하게 만들거나 달리는 자동차의 속도감을 높이는 식이다. 기존 방식과 달리 피사체의 정체성이나 배경, 프레임 간의 연속성을 망가뜨리지 않으면서 특정 속성만 정확하게 조절할 수 있다는 점이 강점이다.

거대 모델 재학습 없이 토큰 오프셋 제어

이러한 연속 파라미터 조절을 위해 연구팀은 거대한 비디오 백본 모델을 처음부터 다시 학습시키는 비효율을 피했다.

대신 모델 내부의 시공간 패치 토큰 공간에 주목했다. 중간 레이어에서 토큰에 가산 오프셋을 더하면 특정 의미의 제어 방향이 형성되며, 이 오프셋의 크기를 조절하는 것만으로 일관되고 예측 가능한 변화를 줄 수 있다는 점을 밝혀냈다.

외형 제어에는 의미 방향 매칭을, 동작 제어에는 모션 크기 스케일링 신호를 활용해 백본 수정 없이 오프셋을 학습한다. 현재 arXiv에 논문이 올라와 있으며, 프로젝트 페이지에는 코드 저장소 버튼이 마련되어 향후 훈련 코드와 모델 가중치, 허깅페이스(Hugging Face) 데모가 순차 공개될 예정이다.

왜 중요한가

영상 생성 AI가 그럴듯한 5초짜리 클립을 뽑아내는 수준을 넘어선 지금, 실제 창작 현장이 가장 절실하게 요구하는 기능은 바로 '정밀한 제어력'이다. 상업용 영상 제작자에게 필요한 것은 스무 번 다시 뽑는 운이 아니라 "연기 양을 20%만 늘려달라"는 명확한 연출 수정이다.

토큰다이얼은 기본 모델을 건드리지 않고 토큰 공간의 오프셋을 조정하는 가벼운 플러그인 방식을 택했다는 점에서 매우 현실적이다. 기존에 구축된 영상 파이프라인에 큰 부담 없이 얹어 쓸 수 있는 구조다.

물론 아직은 논문 단계이며 실제 코드와 데모의 공개를 기다려야 한다. 여러 피사체가 얽힌 복잡한 장면에서도 슬라이더 수치를 최대로 올렸을 때 왜곡 없이 버텨줄지는 검증이 필요하다. 그럼에도 생성형 비디오가 '장난감'을 벗어나 실제 '작업 도구'로 전환되는 데 꼭 필요한 기술적 퍼즐 하나를 맞춘 셈이다.