옴니트랜스퍼 공개: 영상 하나로 특수효과·동작·카메라 워크까지 복제

옴니트랜스퍼(OmniTransfer)는 오픈소스 비디오 생성 모델인 Wan 2.1을 기반으로 구축된 올인원 비디오 전이 프레임워크입니다. 참조 비디오 하나와 목표 이미지를 넣으면, 영상 속 시각 특수효과, 인물 동작, 카메라 구도 변화, 스타일 및 인물 ID를 새 장면에 그대로 복제해 냅니다.

무엇을 할 수 있나

기존 비디오 제어 워크플로는 인물 움직임을 따려면 스켈레톤 포즈를 먼저 추출해야 했고, 카메라 무빙을 복사하려면 복잡한 궤적 파라미터를 계산해야 했습니다. 옴니트랜스퍼는 이러한 번거로운 사전 단계를 단일 프레임워크 안에서 완전히 걷어냈습니다.

특수효과(VFX) 전이에서는 프롬프트 입력 없이 제로샷으로 불, 연기, 파티클 같은 복잡한 시각 효과를 원본 이미지에 매끄럽게 입혀냅니다.

모션 전이 역시 포즈 추출 단계를 거치지 않습니다. 원본 비디오 속 인물의 유연하고 복잡한 움직임을 정지 이미지에 직접 주입하며, 여러 인물의 동작을 동시에 동기화하는 것도 가능합니다.

카메라 전이의 경우 별도의 카메라 파라미터나 궤적 추정 없이도 전문가 수준의 영화적 촬영 구도와 무빙을 정지된 풍경 이미지에 즉시 미러링합니다.

또한 영상 전반에서 일관된 인물 외형을 유지하는 ID 전이와 전체 톤을 복사하는 스타일 전이도 지원합니다. 서로 다른 두 영상에서 각각 동작과 스타일을 가져오는 조합 작업이나 Seedance 1.0과의 연동도 구현되어 있습니다.

어떻게 동작하나

공간적 외형과 시간적 움직임을 하나의 모델에서 동시에 제어하기 위해 옴니트랜스퍼는 세 가지 핵심 설계를 채택했습니다.

첫째, 태스크 인식 위치 편향을 통해 모델 고유의 시공간 문맥 처리 능력을 각 작업에 맞춰 분배합니다.

둘째, 참조 분리 인과 학습으로 참조 브랜치와 생성 브랜치를 분리하여 인과성을 유지하면서도 전이 효율을 대폭 끌어올렸습니다.

셋째, 멀티모달 언어모델(MLLM)을 활용한 태스크 적응형 정렬로 다양한 제어 신호 사이의 의미적 일관성을 유지하도록 만들었습니다.

현재 이 프로젝트는 arXiv 논문과 대규모 데모 페이지를 통해 공개되었으며, Wan 2.1을 기반으로 한 순수 학술 비상업 연구로 소개되고 있습니다.

왜 중요한가

스켈레톤 맵이나 3D 카메라 궤적 같은 불안정한 중간 표현 도구를 건너뛰고, 비디오에서 비디오로 곧바로 제어 신호를 전달하는 방식은 매우 영리한 접근입니다. 중간 단계에서 누적되던 오차를 원천적으로 줄일 수 있기 때문입니다.

영상 콘티 제작자나 3D/VFX 아티스트에게는 레퍼런스 영상을 직접적인 조작 도구로 쓰는 새로운 작업 방식을 열어줄 수 있습니다. 다만 실제 프로덕션 환경에 안착하기 위해서는 일반 소비자용 하드웨어에서의 구동 요구 사양과 오픈소스 코드의 완성도를 지켜볼 필요가 있습니다.