스냅, 단 한 편의 영상으로 캐릭터와 동작 학습하는 'Set-and-Sequence' 공개

AI에게 특정 캐릭터의 겉모습을 학습시키는 것은 이제 익숙한 일이지만, 그 대상 특유의 독특한 움직임까지 복제하는 것은 비디오 생성 모델에서 늘 골치 아픈 과제였습니다.

Snap Research가 외형뿐만 아니라 움직임까지 통째로 학습하고 조합할 수 있는 새로운 텍스트-투-비디오 개인화 기술인 '다이내믹 콘셉트(Dynamic Concepts)' 연구를 공개했습니다.

외형과 움직임을 쪼개서 학습하는 방식

외형만 기억하면 되는 정적 콘셉트와 달리, 움직이는 대상은 시간 흐름에 따른 고유한 동작을 함께 담아내야 합니다.

Snap Research는 DiT 기반 비디오 모델에서 시공간 가중치 공간을 구성하는 'Set and Sequence' 프레임워크를 제안했습니다.

연구진은 다이내믹 콘셉트를 두 가지로 분해했습니다. 순서가 없는 프레임 모음인 'Set'으로는 외형을 파악하고, 시간적으로 연속된 영상인 'Sequence'로는 움직임을 포착합니다.

학습 단계도 둘로 나뉩니다. 먼저 무작위 순서의 정지 화면 모음으로 LoRA를 훈련시켜 모델이 겉모습만 집중적으로 외우게 만듭니다.

그다음 첫 단계에서 확보한 LoRA 기반(Basis)을 그대로 고정합니다. 여기에 연속된 영상 시퀀스로 훈련한 LoRA 계수를 덧붙여 동작의 동역학만 얹어 주는 방식입니다.

왜 중요한가

비디오 생성 AI에서 개인화 기술은 늘 한계에 부딪혀 왔습니다. 외형을 지키려다 보면 움직임이 뻣뻣해지거나, 움직임을 따라 하려다 피사체의 형태가 무너지는 문제가 흔했습니다.

Snap의 방식이 영리한 이유는 영상 속 외형과 움직임을 같은 선상에 두고 억지로 학습시키지 않았다는 점입니다. 정지 이미지로 외형 가중치를 단단히 묶어둔 뒤 그 위에 동작 계수만 얹는 2단계 분리 전략은 군더더기 없는 공학적 해법으로 보입니다.

크리에이터 입장에서는 기대해 볼 만한 기술입니다. 짧은 영상 한 편만으로도 반려동물의 고유한 버릇이나 특정 캐릭터의 상징적인 시그니처 동작을 그대로 뽑아내 다른 장면에 자연스럽게 녹여낼 수 있기 때문입니다.

다만 이번 발표는 어디까지나 arXiv 논문 기반의 연구 성과 공개이며, 당장 일반 사용자가 써볼 수 있는 앱이나 툴로 배포된 것은 아닙니다. 복잡한 배경 전환이나 역동적인 카메라 움직임 속에서도 외형과 동작을 얼마나 깔끔하게 분리해낼지는 상용화 과정에서 검증되어야 할 숙제입니다.