'비디오판 컨트롤넷' 등장…CogOmniControl, 거친 스케치로 영상 정밀 제어

애니메이션이나 영상 콘티를 짜본 사람이라면 초기 스케치가 얼마나 거칠고 단순한지 잘 압니다. 졸라맨 수준의 선화나 몇 프레임 안 되는 러프 스케치는 기존 비디오 생성 AI에 넣었을 때 명령이 무시되거나 완전히 엉뚱한 결과물로 이어지기 십상이었습니다.

연구진은 이러한 한계를 겨냥한 새로운 제어 프레임워크 'CogOmniControl' 논문을 발표했습니다. 이미지 생성 분야의 핵심 축이었던 ControlNet의 개념을 비디오 영역으로 본격 확장한 시스템입니다.

3프레임 낙서 스케치로 완성형 컷 구현

기존 비디오 확산 모델은 디테일한 텍스트나 정교하게 그려진 첫 프레임에 과도하게 의존했습니다. 정작 실제 제작 현장의 스토리보드나 클레이 렌더 같은 추상적이고 성긴 조건 앞에서는 맥을 못 췄습니다.

CogOmniControl은 이 지점을 파고듭니다. 공개된 예시에서는 단 3프레임짜리 러프 스케치 애니메이션과 캐릭터 참조 이미지 1장, 텍스트 프롬프트를 입력하자 스케치의 움직임을 정확하게 반영한 매끄러운 비디오가 완성됐습니다.

스케치뿐 아니라 포즈 골격이나 라인 아트 애니메이션도 그대로 먹힙니다. 인체 관절 움직임을 담은 골격 데이터에 캐릭터 원화를 붙이고 '건물 앞 울창한 나무에 둘러싸인 모습'을 텍스트로 지정하면, 캐릭터 외형과 복잡한 배경, 지정된 모션을 모두 유지하며 영상을 뽑아냅니다.

의도 파악과 영상 생성을 분리한 2단계 구조

거친 스케치를 찰떡같이 알아듣는 비결은 '창작 의도 파악'과 '영상 생성'을 분리한 데 있습니다.

범용 비전-언어 모델(VLM)이나 어댑터를 대충 덧붙인 기존 방식은 전문가의 콘티 축약 방식을 이해하지 못했습니다. 연구진은 실제 애니메이션 제작 데이터로 특화 모델인 CogVLM을 학습시켜, 성긴 스케치에서 창작자의 의도를 읽고 상세한 추론 데이터를 생성하도록 했습니다.

이어 확산 백본인 CogOmniDiT가 문맥 생성 방식으로 여러 제어 조건을 통합하고, 강화학습을 통해 CogVLM의 추론과 정렬합니다. CogVLM이 직접 평가 기준을 세워 생성물 중 최선의 비디오를 골라내는 Best-of-N 선별 체계까지 갖췄습니다. 현장 데이터 기반의 벤치마크인 CogReasonBench와 CogControlBench 평가에서 기존 오픈소스 모델들을 뛰어넘는 성능을 입증했습니다.

왜 중요한가

우리는 CogOmniControl이 전문 프로덕션 파이프라인의 핵심 결핍을 정확히 짚었다고 봅니다. 텍스트 프롬프트 기반의 무작위 생성은 놀이에는 적합할지 몰라도, 연출자의 통제가 생명인 상업 스튜디오에서는 도입하기 어려웠습니다.

단 3프레임의 러프 스케치만으로 동선과 타이밍을 고정할 수 있다면, 프리비즈와 스토리보드 검토 단계에 드는 비용과 시간을 대폭 아낄 수 있습니다. 추론 모델에 조감독 역할을 맡겨 디퓨전 모델의 부담을 덜어준 아키텍처 설계 역시 영리합니다.

다만 당장 작업에 쓸 수 있는 것은 아닙니다. 현재는 논문과 프로젝트 페이지만 공개되었을 뿐 코드와 가중치는 풀리지 않았습니다. 애니메이션 파이프라인에 최적화된 모델이 실사 드라마나 광고 같은 다양한 실사 영상 영역까지 자연스럽게 확장될 수 있을지도 지켜볼 대목입니다.