텐센트, 영상 특수효과 복제 프레임워크 EffectMaker 공개

영상 속 인물의 얼굴이 로봇으로 변하거나 등 뒤에서 빛나는 날개가 펼쳐지는 시각효과는 만들기 매우 까다로운 작업입니다. 전문 편집자가 프레임 단위로 합성 작업을 하거나, 생성형 AI를 쓰더라도 특정 효과 하나만을 위해 모델을 따로 미세조정해야 했습니다.

텐센트 훈위안 연구팀은 이러한 번거로움을 덜어주는 영상 특수효과 커스텀 프레임워크인 EffectMaker를 공개했습니다. 레퍼런스 영상에 등장하는 특수효과를 추출해 다른 영상이나 이미지 속 대상에 그대로 복제하는 기술로, 개별 효과마다 모델을 미세조정할 필요가 없습니다.

대형 언어 모델과 확산 모델의 협업

영상 특수효과는 데이터 자체가 희귀할 뿐 아니라 물리 법칙을 벗어나는 경우가 많아 기존 생성 AI가 다루기 어려웠습니다.

EffectMaker는 의미 추론과 시각 렌더링을 분리한 이중 경로 방식을 택했습니다. 먼저 멀티모달 대형 언어 모델(MLLM)이 레퍼런스 영상 속 특수효과의 의미를 해석하고, 이 효과가 새로운 피사체에 어떻게 적응해야 하는지 계산합니다.

동시에 확산 트랜스포머(DiT)는 인컨텍스트 러닝을 활용해 원본 영상에서 세밀한 질감과 빛 등의 시각적 단서를 직접 가져옵니다. 두 구조가 맞물리면서 효과마다 모델을 다시 학습시키지 않아도 정밀하고 일관된 합성이 가능해집니다.

13만 개 영상으로 구축한 특수효과 데이터셋

어떤 효과든 빠르게 복제해내려면 탄탄한 데이터 기반이 필수적입니다.

텐센트 연구팀은 데이터 부족 문제를 해결하기 위해 13만 개의 고품질 합성 영상과 3000개에 달하는 특수효과 카테고리를 담은 EffectData를 함께 구축했습니다. 이는 현재 공개된 합성 특수효과 데이터셋 중 최대 규모입니다.

이 대규모 데이터를 바탕으로 훈련된 EffectMaker는 실험에서 기존 베이스라인 모델들을 뛰어넘는 시각적 완성도와 프레임 간 일관성을 입증했습니다.

왜 중요한가

1인 창작자나 영상 편집자에게 이 기술은 복잡한 CG 후반 작업을 복사-붙여넣기 수준으로 단순화할 잠재력을 지닙니다. 원하는 분위기의 레퍼런스 영상만 있으면 비슷한 마법 효과나 변신 연출을 손쉽게 자신의 작업물에 적용할 수 있습니다.

영상 AI 업계의 흐름이 단순한 텍스트 기반 생성에서 정밀한 부분 편집으로 옮겨가는 상황에서, 개별 미세조정 과정을 없애고 듀얼 패스 방식을 택한 텐센트의 접근법은 매우 효율적입니다. 모델을 매번 새로 학습시키지 않아도 되므로 서비스 도입 비용을 크게 낮출 수 있습니다.

다만 합성 데이터를 기반으로 학습된 만큼, 복잡한 현실 조명이나 가려짐, 빠른 카메라 움직임이 있는 실제 촬영 영상에서도 어색함 없이 자연스럽게 밀착될지는 상용화 과정에서 계속 지켜봐야 할 대목입니다.