구글 딥마인드, 아로노프스키와 협업: Veo로 실사와 AI 합성한 단편 영화 공개

촬영 현장에 갓 태어난 신생아를 데려와 조명 아래 두는 것은 감독에게 큰 부담이며, 그렇다고 풀 CG로 만들면 불쾌한 골짜기를 피하기 어렵습니다.

트라이베카 영화제에서 첫선을 보인 단편 영화 'ANCESTRA'에서 엘리자 맥닛 감독은 새로운 해법을 내놨습니다. 배우가 빈 공간을 안고 연기하게 한 뒤, 구글 딥마인드의 영상 생성 모델인 Veo를 사용해 실사 프레임 안에 진짜 같은 아기를 그려 넣은 것입니다.

이번 작품은 대런 애러노프스키 감독이 설립한 스토리텔링 벤처 프라이모디얼 수프(Primordial Soup)와 딥마인드가 손잡고 기획한 단편 3부작 중 첫 번째 작품입니다. 200명이 넘는 전통 영화 제작진과 시각효과(VFX) 아티스트들이 딥마인드 연구진과 밀착 협업했습니다.

카메라 무빙을 AI에 완벽히 동기화하다

기존 비디오 생성 AI는 텍스트 프롬프트를 넣고 결과를 뽑아보는 일종의 확률 뽑기에 가까워 전문 영화 연출에 적용하기 어려웠습니다.

심장에 구멍을 가지고 태어났던 감독 자신의 실화를 다룬 만큼, 제작진은 맥닛의 아버지가 찍었던 당시 사진들을 Gemini에 입력해 정밀한 미학적 묘사 프롬프트를 추출했습니다. 이를 바탕으로 파인튜닝된 Imagen을 거쳐 톤과 무드를 고정했습니다.

가장 돋보인 기술은 '모션 매칭'이었습니다. 인체 내부를 통과해 자궁 안의 제왕절개 현장으로 들어가는 역동적인 샷을 위해, 제작진은 먼저 가상 3D 인체 모델 안에서 카메라 무빙 초안을 녹화했습니다.

Veo는 이 가상 카메라의 움직임을 추적해 완전히 동일한 동선을 가진 실사풍 비디오를 생성해 냈습니다. 유기적 조직이 닫히는 추상적인 장면 역시 레퍼런스 비디오를 넣자 몇 분 만에 원하는 움직임으로 렌더링되었습니다.

전통적인 후반 작업 파이프라인과의 결합

이 프로젝트의 핵심은 영화 전체를 AI로 때우려 하지 않고, 기존 영화 제작 파이프라인의 부품으로 AI를 끼워 넣었다는 점입니다.

출산 장면에서 실사 영상 속 특정 영역을 지정한 뒤, Veo의 객체 추가 기능을 통해 아기만 정교하게 생성해 얹었습니다. 그 후 전문 VFX 아티스트와 컬러리스트가 필름 그레인과 조명을 맞추는 후반 보정 작업을 거쳤습니다.

해질녘 깨어난 악어 알 내부에서 어미를 올려다보는 복잡한 시점의 샷 역시, Veo와 Imagen으로 핵심 소스를 뽑은 뒤 전통적인 합성 툴에서 레이어를 합쳐 완성했습니다.

왜 중요한가

우리는 이 단편이 생성형 AI가 영화 제작진을 하루아침에 대체하는 것이 아니라, 기존 파이프라인 안에서 강력한 특수효과 도구로 공존하는 이상적인 방식을 보여줬다고 봅니다.

그동안 프롬프트만으로 만든 순수 AI 단편들은 카메라 제어가 불가능해 둥둥 떠다니는 듯한 인공적인 느낌을 지우기 힘들었습니다. 3D 가상 카메라 궤적으로 AI의 움직임을 강제하고 필요한 피사체만 합성해 넣는 방식은 감독의 통제권을 보장하는 아주 똑똑한 접근입니다.

독립 영화 제작자나 중소규모 스튜디오 입장에서도 기대해 볼 만합니다. 막대한 CG 예산이 들던 체내 미시 세계나 생물 시각효과를 획기적으로 줄어든 비용과 시간으로 구현할 수 있는 길이 열렸기 때문입니다.

다만 이번 작업은 구글 연구진이 직접 모델을 미세조정하며 붙어 지원한 쇼케이스 성격이 짙습니다. 카메라 궤적 추적이나 부분 합성 기능이 일반 상용 소프트웨어 인터페이스로 완전히 보급되기 전까지는, 여전히 기술적 장벽이 높은 제작 방식이라는 한계가 있습니다.