사진 3장으로 영상 속 인물 유지하는 'WildActor' 오픈소스 공개

AI 비디오 생성을 다뤄본 사람이라면 누구나 비슷한 답답함을 느껴봤을 것입니다. 첫 장면에서는 완벽해 보이던 인물이 뒤를 돌아보는 순간 다른 사람의 얼굴로 바뀌고, 몇 걸음 걷지도 않았는데 옷 스타일이 달라지며, 동작이 조금만 커지면 신체 일부가 배경과 뭉개지기 일쑤였습니다.

카메라 구도가 자유롭고 역동적인 움직임이 들어가는 영상에서 특정 인물의 일관성을 유지하는 일은 지금까지 생성 모델의 가장 큰 난제였습니다. 메이퇀 연구팀이 최근 오픈소스로 공개한 WildActor는 바로 이 고질적인 문제를 정조준했습니다. ICML 2026에 채택된 이 연구는 단 3장의 기준 사진만으로 제한 없는 앵글과 큰 동작 속에서도 인물의 얼굴, 외모, 의상을 그대로 유지합니다.

3장의 사진으로 고정하는 다각도 앵커

기존의 인물 유지 기술은 정면 얼굴 사진 한 장에 과도하게 의존하는 경우가 많았습니다. 이 방식은 인물이 몸을 돌리거나 전신이 잡힐 때 뒷모습이나 의상 디테일을 모델이 제멋대로 상상하게 만들어 결국 일관성이 무너졌습니다.

WildActor의 해법은 직관적입니다. 정면, 측면, 후면을 아우르는 3장의 기준 이미지를 입력받아 캐릭터의 전방위 정체성 앵커로 활용합니다. 모델은 인물이 회전하거나 달리는 격렬한 액션을 생성할 때도 해당 방향의 실제 기준점을 즉각 참조할 수 있어 형태가 무너지지 않습니다.

이 기능은 실사 인물에만 머무르지 않고 카툰 및 애니메이션 캐릭터에도 똑같이 적용됩니다. 2D 스타일 캐릭터가 복잡한 동작을 수행할 때 흔히 생기던 붕괴 현상도 3장의 기준점만 있으면 안정적으로 방어해 냅니다.

Wan2.2-5B 기반 경량 추론 구조

연구팀은 막대한 비용을 들여 비디오 기반 모델을 처음부터 새로 학습시키는 대신, 공개된 오픈소스 모델인 Wan2.2-5B를 뼈대로 채택했습니다.

WildActor의 추론 코드는 Wan2.2-5B 및 DiffSynth-Studio 프레임워크와 호환됩니다. 텍스트 프롬프트와 3장의 이미지 경로를 적은 요청 JSON 파일과 어댑터 가중치를 지정하면 손쉽게 인물 일관성 비디오를 뽑아낼 수 있습니다.

추론 코드뿐만 아니라 데이터셋 구축 파이프라인인 Actor-18M도 함께 개방되었습니다. 일관된 1인 영상을 걸러내고 얼굴과 신체 참조 데이터를 추출하며, 정면·측면·후면 앵커를 자동으로 생성하는 일련의 도구를 제공해 후속 연구자들의 진입 장벽도 낮췄습니다.

왜 중요한가

1인 창작자나 인디 영상 제작자에게 인물 일관성은 AI 비디오를 단순한 장난감이 아닌 실전 콘텐츠 제작 도구로 전환시키는 핵심 열쇠입니다. 웹드라마나 게임 컷씬처럼 여러 샷을 이어 붙여야 하는 작업에서, 배우의 얼굴과 옷이 샷마다 바뀌지 않게 하려고 수백 번 재추첨하던 비효율을 3장의 사진으로 획기적으로 줄일 수 있습니다.

업계 관점에서도 메이퇀의 설계 방식은 매우 실용적입니다. 거대 비디오 모델을 무리하게 새로 만들기보다, Wan2.2-5B와 같은 5B급 오픈소스 파운데이션 모델 위에 다중 참조 어댑터와 데이터 파이프라인을 얹는 전략을 택했습니다. 우리는 이러한 모듈형 어댑터 방식이 오픈소스 생태계에서 특정 인물을 제어하는 가장 현실적인 표준으로 자리 잡을 것으로 봅니다.

로컬 구동 시 필요한 VRAM과 공개 가중치 배포 일정을 확인해야겠지만, 3장으로 전신 일관성을 잡아낸 이번 시도는 캐릭터 영상 제어의 방향성을 명확히 보여주고 있습니다.