루마 AI, '레이3 모디파이' 출시…시작·끝 프레임으로 전환 영상 생성

영상 제작 현장에서 재촬영은 가장 피하고 싶은 일입니다. 배우의 연기나 감정선은 완벽한데 의상이 마음에 들지 않거나, 배경을 바꿔야 하거나, 장면 사이를 이어줄 몇 초 분량의 컷이 부족할 때 제작진의 고민은 깊어집니다.

기존 영상 생성 AI로 이를 수정하려 하면 배우의 미세한 표정과 시선 처리까지 뭉개져 버려 실무에 적용하기 어려웠습니다.

앤드리슨 호로위츠의 투자를 받은 AI 영상 및 3D 모델 기업 루마가 이러한 한계를 보완한 신규 모델 'Ray3 Modify'를 선보였습니다.

배우의 연기와 시선은 살리고 외형만 교체

생성형 비디오 모델은 화려한 연출이 가능하지만, 연출자가 원하는 대로 정밀하게 제어하기는 매우 까다로웠습니다.

루마는 Ray3 Modify가 AI 특수효과나 편집 과정에서 실제 배우의 연기력을 보존하지 못하던 문제를 해결했다고 밝혔습니다. 기존 촬영 영상과 함께 캐릭터 참조 이미지를 입력하면, 실사 배우의 연기 위에 새로운 캐릭터의 외형을 덧입힐 수 있습니다.

특히 배우 본연의 움직임과 동작 타이밍, 시선 처리, 감정 표현을 그대로 유지한다는 점이 핵심입니다. 의상이나 인물의 특징도 샷 전반에 걸쳐 일관되게 적용됩니다.

아밋 제인 루마 공동창업자 겸 CEO는 카메라로 실제 연기를 촬영한 뒤 AI를 통해 원하는 장소로 배경을 바꾸거나 의상을 변경할 수 있으며, 물리적인 재촬영 없이도 장면을 다시 찍는 효과를 낼 수 있다고 설명했습니다.

시작과 끝 프레임으로 만드는 자연스러운 전환

Ray3 Modify에는 시작 프레임과 종료 프레임을 지정해 영상을 생성하는 기능도 함께 탑재되었습니다.

사용자가 전환의 시작과 끝이 되는 두 장의 이미지를 제공하면, 모델이 그 사이를 자연스럽게 이어주는 전환 영상을 만들어냅니다. 이를 통해 연출자는 장면 간의 연속성을 해치지 않으면서 캐릭터의 이동 동선이나 장면 전환을 훨씬 수월하게 통제할 수 있습니다.

이 모델은 현재 루마의 드림 머신 플랫폼에서 사용할 수 있습니다. 런웨이, 클링 등과 경쟁 중인 루마는 2025년 6월 처음으로 비디오 수정 기능을 선보인 바 있습니다.

이번 모델 출시는 대규모 투자 유치에 이은 행보입니다. 루마는 11월 사우디아라비아 국부펀드 산하 AI 기업 후메인이 주도하고 a16z, 앰플리파이 파트너스, 매트릭스 파트너스가 참여한 9억 달러 규모의 투자를 유치했으며, 후메인과 함께 사우디 현지에 2GW 규모의 AI 컴퓨팅 클러스터를 구축할 계획입니다.

왜 중요한가

Ray3 Modify는 영상 생성 AI의 초점이 무작위 생성에서 기존 제작 워크플로와의 결합으로 이동하고 있음을 분명하게 보여줍니다.

영상 제작사나 인디 창작자, 광고 대행사 입장에서 이 기술의 효용은 즉각적입니다. 감정 표현과 연기 호흡은 실제 배우를 통해 안전하게 확보하고, 로케이션 비용이나 의상 교체, 자잘한 연결 컷 제작은 AI로 처리함으로써 제작비와 재촬영 부담을 획기적으로 낮출 수 있습니다.

산업적 관점에서도 의미가 큽니다. 단순한 텍스트 기반 영상 생성의 신선함이 줄어든 상황에서, 런웨이나 클링과의 진검승부는 이제 프레임 단위의 제어력에서 갈리고 있습니다. 시작과 끝 프레임 지정이나 배우 연기 보존 같은 실무 중심의 기능은 전문 제작 스튜디오를 고객으로 끌어들이는 데 필수적인 무기입니다.

다만 실제 배우의 연기 데이터 위에 가상의 외형을 덧입히는 방식이 보편화될수록, 배우의 연기 권리와 초상권 계약을 둘러싼 제작 현장의 갈등은 더 복잡해질 가능성이 큽니다. 그럼에도 실제 촬영의 장점과 AI의 유연성을 실용적으로 결합했다는 점에서 매우 영리한 접근으로 평가할 수 있습니다.