프롬프트 개수 딱 맞추는 AI 비디오 제어 프레임워크 Numina 오픈소스 공개

비디오 생성 AI에 '두 명의 아이, 강아지 한 마리, 고양이 한 마리'를 입력하면 아이가 세 명 나오거나 엉뚱한 동물이 추가되는 일은 흔합니다. 이는 최신 모델인 VO 3.1이나 Grok Imagine에서도 여전히 반복되는 고질적인 한계입니다.

연구팀은 비디오 확산 모델이 프롬프트 속 객체 수를 정확하게 지키도록 돕는 프레임워크 Numina의 논문과 소스코드를 공개했습니다.

모델 재학습 없이 어텐션을 바로잡는 기술

Numina의 핵심은 모델 파라미터를 추가로 파인튜닝할 필요가 없는 '트레이닝 프리(training-free)' 방식이라는 점입니다.

이 시스템은 '식별 후 유도(identify-then-guide)'라는 메커니즘을 사용합니다. 생성 과정에서 구별력이 높은 셀프 어텐션과 크로스 어텐션 헤드를 선별해 잠재 공간의 레이아웃을 파악한 뒤, 프롬프트의 숫자와 어긋난 부분을 찾아냅니다.

불일치가 확인되면 Numina는 레이아웃을 보수적으로 다듬고 크로스 어텐션을 조절해 모델이 지정된 수량에 맞춰 프레임을 다시 생성하도록 이끕니다.

자체 구축된 CountBench 벤치마크 테스트 결과, 오픈소스 모델 Wan2.1-1.3B에서 객체 카운팅 정확도가 최대 7.4% 향상되었습니다. 5B 모델과 14B 모델에서도 각각 4.9%, 5.5%의 정확도 개선을 기록했으며, 영상의 시간적 일관성과 CLIP 정렬 수준도 안정적으로 유지했습니다.

로컬 환경에서 바로 적용 가능한 오픈소스

Numina는 특정 아키텍처에 종속되지 않는 모델 독립적(model-agnostic) 구조를 갖추고 있습니다.

현재 공개된 리포지토리에는 Wan2.1 및 Wan2.2 모델에 바로 연동할 수 있는 예제와 로컬 PC에서 직접 코드를 내려받아 구동할 수 있는 설치 가이드가 포함되어 있습니다. 기존 오픈소스 비디오 생성 파이프라인을 구축해 둔 사용자라면 큰 부담 없이 모듈 형태로 얹어 쓸 수 있습니다.

왜 중요한가

영상 제작 실무에서 프롬프트에 지시한 인물이나 사물의 수가 틀어지는 현상은 결과물을 통째로 폐기해야 하는 치명적인 문제입니다.

우리는 Numina가 모델을 거대하게 다시 학습시키는 대신, 추론 단계에서 어텐션 맵을 제어하는 경량화된 해결책을 제시했다는 점에서 매우 영리하다고 판단합니다. 고가의 GPU 클러스터를 갖추지 못한 소규모 개발자나 창작자도 즉시 활용할 수 있는 현실적인 대안이기 때문입니다.

물론 정확도 개선 폭이 5~7% 수준인 만큼, 객체들이 심하게 겹치거나 격렬하게 움직이는 장면에서는 여전히 계산 오차가 발생할 수 있습니다. 하지만 운에 맡기며 시드를 무한정 돌리던 기존 방식에 명확한 통제 장치를 마련했다는 점만으로도 실무 적용 가치는 충분합니다.