구글 딥마인드, 선댄스서 AI 단편 애니 공개: Veo 기반 영상 제어로 완성

현업 애니메이터에게 AI 비디오 툴에 대해 물어보면 대부분 회의적인 반응을 보입니다. 트위터에서 보기엔 화려하지만, 프레임마다 캐릭터 얼굴이 일그러지고 감독이 원하는 섬세한 표정 연기나 코믹한 호흡은 텍스트 프롬프트로 전혀 통제할 수 없기 때문입니다.

이러한 한계 속에서 구글 딥마인드가 선댄스 영화제 스토리 포럼을 통해 단편 애니메이션 '친애하는 위층 이웃들(Dear Upstairs Neighbors)'을 선보였습니다. 픽사 출신의 코니 허 감독과 콘셉트 디자이너 신잉종이 협업한 이 작품은 층간소음으로 잠을 설치던 주인공 에이다가 겪는 현실과 환상의 사투를 다룹니다.

단순한 홍보용 영상을 넘어, 딥마인드가 실제 영화 제작 현장에 생성형 AI를 어떻게 안착시킬 수 있는지를 증명한 작업 파이프라인의 결과물입니다.

프롬프트를 버리고 러프 스케치로 움직임을 지시하다

제작진이 마주한 가장 큰 과제는 피곤에 지친 에이다의 손가락 타이핑 리듬, 미묘한 표정의 타이밍, 카메라 프레이밍이었습니다. 텍스트 프롬프트만으로는 이런 세밀한 연출을 지시하는 것이 불가능했습니다.

딥마인드 연구진은 애니메이터 본연의 작업 방식에 주목했습니다. 아티스트가 평소 쓰던 소프트웨어에서 대략적인 러프 애니메이션을 잡으면, 이를 입력값으로 받아 스타일이 입혀진 영상으로 변환하는 비디오-투-비디오(video-to-video) 워크플로를 구축했습니다. 제작진은 엄격한 동작 제어와 AI의 즉흥적 표현 사이의 균형을 슬라이더로 조절하며 연출을 다듬었습니다.

동시에 캐릭터와 회화풍 화풍의 일관성을 유지하기 위해, 소수의 콘셉트 아트만으로 Veo와 Imagen을 직접 파인튜닝할 수 있는 도구를 제공해 장면마다 인물이 바뀌는 문제를 잡았습니다.

'원클릭' 환상을 버리고 국소 부위만 수정하는 현장 시스템

이 단편의 최종 컷 중 단 한 번의 생성으로 끝난 장면은 없습니다. 실제 스튜디오처럼 제작진은 매일 '데일리(dailies)' 시사를 열어 프레임을 분석하고 수정 사항을 논의했습니다.

AI 영상은 사소한 오류 하나 때문에 전체를 다시 생성하면 잘 나온 부분까지 망가지는 문제가 있습니다. 연구팀은 이를 해결하기 위해 영상의 특정 영역만 지정해 다시 그리는 국소 수정(localized refinement) 도구를 만들었습니다. 덕분에 마음에 든 배경을 유지하면서 캐릭터의 손짓이나 표정만 골라 수정할 수 있었습니다.

극장 상영을 위한 마무리는 Veo의 4K 업스케일링 모델이 맡았습니다. 아티스트의 의도에 맞춰 독특한 붓 터치 질감을 뭉개지 않고 해상도를 끌어올렸습니다. 이 4K 업스케일 모델은 현재 Flow에 적용되어 있으며, 이달 말 Google AI Studio와 Vertex AI에 순차적으로 도입될 예정입니다.

왜 중요한가

독립 애니메이터와 영상 제작자에게 이번 협업은 매우 현실적인 기준점을 제시합니다. 생성형 AI를 결과를 점치는 뽑기 도구로 쓰는 대신, 손으로 잡은 러프 동화를 고품질로 렌더링해 주는 보조 도구로 재정의했기 때문입니다. 연출 감각과 기본기가 있는 소규모 스튜디오라면 대형 제작사 수준의 완성도 높은 비주얼을 훨씬 적은 리소스로 구현할 수 있는 가능성이 열렸습니다.

업계 전반으로 보면 소라(Sora)나 런웨이(Runway) 등 경쟁사를 겨냥한 실용주의적 행보로 보입니다. 소셜 미디어용 짧은 클립 경쟁을 넘어, 픽사 출신 감독과 함께 선댄스 무대에서 실제 제작 파이프라인의 유효성을 검증하고 이를 즉시 클라우드 인프라(Vertex AI)로 연결하는 전략은 매우 치밀합니다.

우리는 딥마인드가 '텍스트 프롬프트 만능주의'의 한계를 일찌감치 인정하고 시각적 통제권과 국소 수정이라는 전문가의 요구를 기술로 풀어낸 점을 높게 평가합니다. 다만 이번 작업이 연구진의 밀착 지원 아래 진행된 프로토타입 성격이 강한 만큼, 일반 사용자가 외부 엔지니어 없이도 이 워크플로를 매끄럽게 다룰 수 있도록 상용화할 수 있을지가 진정한 시험대가 될 것입니다.