넷플릭스, 영상 AI 모션 제어하는 '고 위드 더 플로우' 공개

생성형 AI로 비디오를 만들 때 피사체나 카메라의 움직임을 마음대로 제어하는 일은 늘 까다로운 과제였습니다. 모델 구조를 통째로 뜯어고치거나 별도의 무거운 어댑터를 붙여야 했기 때문입니다.

넷플릭스 산하 아이라인 연구팀이 공개한 'Go-with-the-Flow'는 이 문제를 완전히 새로운 방식으로 풀어냈습니다. 모델의 아키텍처나 기존 학습 파이프라인을 전혀 건드리지 않고, 노이즈 샘플링 단계만 바꿔 정밀한 모션 제어를 구현했습니다.

옵티컬 플로우로 노이즈를 비틀다

기존 비디오 확산 모델은 프레임마다 완전히 무작위인 가우시안 노이즈에서 출발하기 때문에, 프레임 간의 자연스러운 연결을 모델 내부 연산에 전적으로 의존해야 했습니다.

Go-with-the-Flow는 실시간으로 작동하는 노이즈 워핑 알고리즘을 제안합니다. 학습 비디오의 옵티컬 플로우(광학 흐름) 정보를 추출해 시간축의 무작위 노이즈를 모션과 연동된 워핑 노이즈로 대체하는 방식입니다.

이때 공간 차원의 가우시안 특성은 그대로 유지하도록 설계해, 프레임 단위의 세밀한 픽셀 화질을 잃지 않으면서도 의도한 궤적대로 움직임을 유도합니다.

하나의 솔루션으로 카메라와 피사체 제어

모든 변화가 데이터 전처리 단계에서 이뤄지므로, 기존에 구축된 비디오 확산 베이스 모델을 아주 적은 추가 연산 비용만으로 미세조정할 수 있습니다.

화면 속 특정 객체의 이동 경로는 물론, 전역 카메라 워크 지정, 다른 비디오의 모션을 옮겨오는 모션 트랜스퍼까지 폭넓게 지원합니다. 연구팀은 프로젝트 페이지를 통해 비디오 결과물과 함께 깃허브 소스코드, 모델 가중치를 모두 공개했습니다.

왜 중요한가

영상 제작자와 크리에이터에게 모션 제어는 생성형 AI를 실제 작업 파이프라인에 편입하기 위한 필수 조건이었습니다. 카메라 앵글을 바꾸거나 피사체를 움직이기 위해 수십 번 다시 생성하던 낭비를 크게 줄일 수 있습니다.

우리가 보기에 이 연구의 가장 큰 미덕은 '가성비'입니다. 업계가 파라미터 수를 늘리거나 복잡한 제어 모듈을 덧붙이는 데 집중할 때, 잠재 공간의 노이즈 구조를 수학적으로 다듬어 베이스 모델 자체의 표현력을 끌어냈기 때문입니다. 다만 옵티컬 플로우 추정 품질에 의존하는 만큼, 극심한 가림 현상이나 격렬한 조명 변화가 있는 장면에서는 노이즈 워핑이 불안정해질 수 있다는 한계도 보입니다. 그럼에도 가벼운 파인튜닝만으로 오픈소스 비디오 생태계의 제어력을 한 단계 끌어올렸다는 점에서 주목할 가치가 충분합니다.