콰이서우, Kling Omni Director 공개: 참고 영상의 카메라 워크를 그대로 복제

AI 비디오를 만들어본 사람이라면 누구나 카메라 앵글과의 싸움에 지쳐본 경험이 있을 것입니다. 영화 같은 드론 샷을 연출하고 싶어 '서서히 줌인하며 살짝 로우 앵글' 같은 텍스트를 입력해도, 카메라는 엉뚱한 허공으로 날아가거나 피사체만 일그러지기 일쑤였습니다.

본래 텍스트는 카메라의 복잡한 물리적 궤적을 설명하기에 적합한 도구가 아닙니다. 이번 주 콰이서우의 Kling 연구팀이 공개한 연구 프리뷰 'Omni Director'는 이 답답한 프롬프트 조작을 근본적으로 바꾸려는 시도입니다.

방식은 매우 직관적입니다. 글자로 구구절절 설명하는 대신, 원하는 카메라 워크가 담긴 참고 영상 한 편과 정지 이미지 한 장을 넣으면 끝납니다.

컷 전환 리듬과 렌즈 왜곡까지 그대로 복제

Omni Director는 참고 영상 속 카메라의 이동 궤적을 고스란히 추출한 뒤, 새 이미지를 움직여 새로운 영상을 만들어냅니다.

단순한 좌우 패닝이나 줌에 그치지 않습니다. 역동적인 드론 급강하, 현기증을 일으키는 돌리 줌(Dolly Zoom), 불릿 타임 회전, 어안 렌즈 특유의 왜곡 효과까지 전문적인 카메라 연출을 그대로 모사합니다.

더 놀라운 점은 편집 호흡과 컷 전환까지 복제한다는 점입니다. 참고 영상에 여러 개의 쇼트가 이어지는 구성이 있다면, 새로 생성되는 영상도 정확히 같은 타이밍에 컷을 전환합니다.

실제 데모에서는 오토바이 라이더의 3인칭 시점에서 1인칭 시점으로 이어지는 참고 영상을 바탕으로, 하늘을 나는 독수리의 3인칭 및 1인칭 시점 전환 영상을 완벽하게 구현했습니다. 외신 Theoretically Media에 따르면 영화 '퓨리오사'의 웅장한 크레인 샷을 따온 장면도 등장합니다.

초기 연구 단계인 만큼 화면 속 인물이 배경의 프로펠러 회전 동작을 흉내 내는 식의 자잘한 오류도 관찰되지만, 연출의 자유도 면에서는 확실히 기존 텍스트 방식을 압도합니다.

왜 중요한가

우리는 AI 비디오 생성의 경쟁 축이 단순 화질 경쟁에서 '감독 수준의 연출 제어력'으로 확실히 옮겨가고 있다고 봅니다.

지금까지의 카메라 제어는 프롬프트 운관리에 의존하는 복권 긁기에 가까웠습니다. Omni Director처럼 실제 영상을 레퍼런스로 삼을 수 있게 되면, 영상 창작자나 콘티 제작자는 원하는 연출을 훨씬 정밀하게 시각화할 수 있습니다.

광고나 영화, 게임 화면에서 마음에 드는 카메라 움직임을 발견하면 그 궤적을 그대로 가져와 내 장면에 얹을 수 있게 되는 셈입니다. 3D 툴을 다루지 못해도 복잡한 카메라 무빙을 정지 이미지 한 장으로 손쉽게 실험해볼 수 있습니다.

다만 Omni Director는 현재 콰이서우 KwaiVGI 연구팀의 프리뷰 단계로, 웹페이지에 코드 버튼만 있을 뿐 실제 코드나 모델은 아직 배포되지 않았습니다. 당장 써볼 수는 없지만, 향후 Kling 정식 버전에 이 같은 레퍼런스 제어 기능이 탑재될 가능성이 매우 높아 주목할 만한 가치가 충분합니다.