정지 이미지에 원하는 시간과 위치로 특수효과 입히는 'VFX Creator' 공개

정지된 사진 속 특정 물체에만 폭발이나 용해 같은 시각 효과를 넣으려 할 때, 지금까지의 AI 비디오 생성 모델은 언제 어디서 효과가 터질지 제어하기 어려운 '뽑기'에 가까웠습니다.

이러한 문제를 해결하기 위해 공간과 시간을 정밀하게 제어하는 비디오 생성 프레임워크 VFX Creator가 공개되었습니다. Video Diffusion Transformer 구조를 기반으로 하며, 적은 양의 학습 데이터만으로도 작동하는 것이 특징입니다.

원하는 위치에 정확한 타이밍으로 연출

기존 비디오 모델의 가장 큰 단점은 연출의 타이밍을 맞추기 힘들다는 점이었습니다. VFX Creator는 공간과 시간을 각각 제어하는 LoRA 어댑터를 도입해 이 한계를 극복했습니다.

공간 제어에는 인스턴스 단위의 마스크 제어 모듈이 사용됩니다. 사용자가 효과를 적용할 대상을 마스크로 지정하면, 배경이나 주변 사물에는 영향을 주지 않고 지정된 객체만 찌그러지거나 풍선처럼 부풀어 오르게 만들 수 있습니다.

시간 제어 역시 매우 정교합니다. 모션의 시작과 종료 타임스탬프를 토큰화하여 텍스트 임베딩과 함께 확산 모델에 주입하는 방식을 취했습니다. 이를 통해 예를 들어 '8번째 프레임인 1초 시점에 공중 부양을 시작해 24번째 프레임인 3초에 끝내라'는 식의 프레임 단위 리듬 제어가 가능해집니다. CogVideoX, LTX-Video, Pika 등과 비교했을 때 확연한 타이밍 제어력을 보여줍니다.

연구진은 이를 위해 15가지 대표 VFX 카테고리를 담은 Open-VFX 데이터셋도 함께 공개했습니다. 녹아내리기, 폭발, 케이크화는 물론 캐릭터 변신에 이르기까지 텍스트 설명과 인스턴스 마스크, 타임스탬프가 정밀하게 라벨링되어 있습니다.

왜 중요한가

우리는 VFX Creator가 무거운 파운데이션 모델을 처음부터 학습시키는 대신, 가벼운 LoRA 플러그인 형태로 제어권을 확보한 점을 높게 평가합니다. 영상 크리에이터와 VFX 사전 시각화 작업자 입장에서, 원하는 타이밍에 원하는 객체만 변형할 수 있다는 것은 무의미한 프롬프트 재시도 비용을 대폭 줄여주는 실질적인 가치를 지닙니다.

업계 전반으로 봐도, 단순한 화질 개선을 넘어 프레임 단위의 통제력을 DiT 모델에 부여하는 기술적 방향성을 명확히 보여주었습니다.

다만 한계도 존재합니다. 현재의 뛰어난 성능은 사전에 정의된 15개 효과 데이터셋에 기반하고 있습니다. 상업 영화나 복잡한 프로덕션에서 요구하는 규격 외의 물리 효과나 변칙적인 연출에 대해서도 동일한 제어력이 유지될지는 검증이 더 필요해 보입니다.