루마 AI '모디파이 비디오' 출시: 움직임은 그대로 두고 배경과 캐릭터만 교체

영상 제작에서 배우의 연기를 그대로 살리면서 주변 환경만 바꾸는 작업은 늘 막대한 비용이 드는 영역이었습니다. 크로마키 세트를 세우거나 정밀한 모션 트래킹을 거쳐야 했고, 배경 하나를 교체하려 해도 재촬영에 준하는 수고가 들어갔습니다.

루마 AI(Luma AI)는 자사의 드림머신 Ray 2(Dream Machine: Ray 2)에 탑재된 영상 편집 기능인 'Modify Video'를 공개했습니다. 촬영된 원본의 동작, 감정 표현, 카메라 워크는 완벽하게 붙잡아 둔 채 배경과 조명, 심지어 등장인물의 외형까지 새롭게 덧씌우는 기술입니다.

연기는 남기고 세상은 바꾼다

기존 프롬프트 기반의 비디오 생성기는 명령어를 조금만 바꿔도 원래 인물의 움직임이나 얼굴 형태가 쉽게 망가지는 문제가 있었습니다. Modify Video는 원본 영상에서 전신 포즈, 미세한 얼굴 표정, 립싱크, 카메라 동선을 먼저 추출해 뼈대로 삼습니다.

덕분에 차고에서 스마트폰으로 대충 찍은 인물의 연기를 우주선 내부 장면으로 옮겨놓거나, 사람의 실제 몸짓을 3D 크리처 캐릭터에 그대로 입히는 일이 수월해졌습니다. 그린스크린이나 복잡한 마스킹 작업 없이도 특정 인물의 셔츠 색상만 바꾸거나 하늘에 비행체를 띄우는 식의 국소 편집도 지원합니다.

변형의 강도는 세 가지 프리셋으로 조절합니다. 원본의 구조를 최대한 유지하며 질감만 바꾸는 Adhere, 균형 잡힌 변화를 주는 Flex, 사람을 괴물이나 초현실적 존재로 완전히 탈바꿈시키는 Reimagine으로 나뉩니다. 프롬프트를 쓰지 않고 첫 프레임 이미지나 레퍼런스만으로도 작동하며, 16:9 비율의 720p 해상도를 지원합니다.

루마 측은 외부 평가단을 통한 블라인드 테스트에서 Modify Video가 런웨이(Runway)의 V2V 기능보다 움직임 보존력, 얼굴 표현의 자연스러움, 시간적 일관성 측면에서 더 우수한 평가를 받았다고 밝혔습니다.

왜 중요한가

우리는 생성형 비디오의 경쟁 중심이 '화려한 첫 화면'에서 '시간 축 위의 정밀한 제어력'으로 확실히 이동했다고 봅니다. 우연에 기댄 프롬프트 뽑기 방식으로는 실제 상업 제작 파이프라인에 진입하기 어렵기 때문입니다.

독립 창작자나 콘셉트 기획 단계의 연출가에게 이 도구는 즉각적인 효용을 제공합니다. 클라이언트 미팅이나 프리비즈(Previs) 단계에서 복잡한 3D 모델링 없이도, 직접 연기한 폰 영상 하나로 다양한 스타일의 샘플을 몇 분 만에 뽑아내 설득할 수 있습니다.

복잡한 노드나 파라미터를 강요하는 대신, 세 가지 직관적인 프리셋으로 제어 범위를 묶어낸 루마의 인터페이스 설계는 실무 친화적입니다.

다만 한계도 분명합니다. 현재는 한 번에 최대 10초까지만 처리가 가능하고 기본 해상도 역시 720p 수준에 머물러 있습니다. 극장용 최종 납품본으로 직행하기엔 부족하지만, 사전 시각화와 단편 콘셉트 검증용으로는 지금 당장 작업 흐름에 도입해 볼 가치가 충분합니다.