클링, '3D Move' 공개: 새로운 캐릭터로 동작 옮기며 카메라 앵글까지 제어

기존 AI 모션 전송 툴을 써본 사람이라면 누구나 겪어본 한계가 있습니다. 원본 영상 속 인물의 현란한 춤 동작을 다른 캐릭터에 입히는 것까지는 쉬운데, 카메라를 줌아웃하거나 인물 주위를 한 바퀴 돌리려고 하면 사지가 기괴하게 뒤틀려버린다는 점입니다.

지금까지의 도구들은 동작이 원본 촬영 각도에 완전히 묶여 있었기 때문입니다.

클링(Kling) 연구진은 이러한 장벽을 깨뜨린 3D 인식 모션 제어 기술 '3D Move(논문 프로젝트명 3DiMo)'를 공개했습니다. 영상 속 움직임을 새로운 캐릭터로 이전하면서 동시에 궤도 회전, 줌, 하이앵글 등 카메라 앵글을 자유자재로 연출할 수 있도록 한 기술입니다.

뻣뻣한 가상 뼈대를 벗어던진 암시적 제어

OneAnimate나 Scale 같은 기존 모션 제어 툴은 대개 2D 포즈 추정치나 SMPL 같은 명시적 3D 파라메트릭 인체 모델을 가이드로 삼았습니다.

문제는 2D 포즈의 경우 원본 카메라 시점에 고정되어 새로운 앵글을 만들어낼 수 없다는 점입니다. 반면 3D 뼈대 모델은 깊이감 왜곡이나 부정확한 물리 역학 문제를 안고 있어, 이를 강제로 씌우면 비디오 대형 모델이 자체적으로 지닌 풍부한 3D 공간 이해력을 오히려 망가뜨립니다.

3D Move는 외부 뼈대를 억지로 끼워 맞추는 대신, 시점과 무관한 '암시적 모션 토큰'을 추출하는 영리한 방식을 택했습니다.

연구팀은 비디오 생성기와 모션 인코더를 함께 훈련하여 원본 영상의 움직임을 간결한 모션 토큰으로 압축한 뒤, 이를 크로스 어텐션 메커니즘을 통해 주입했습니다. 또한 단일 시점, 다중 시점, 무빙 카메라가 포함된 방대한 영상 데이터를 학습시켜 모델이 입체적 공간 일관성을 스스로 터득하게 만들었습니다.

기존의 SMPL 3D 뼈대는 초기 학습을 돕는 가이드로만 잠깐 사용하고 점차 비중을 0으로 줄여 완전히 걷어냈습니다. 모델이 외부의 뻣뻣한 뼈대에 의존하지 않고 진짜 3D 공간 지각을 학습하도록 유도한 셈입니다.

섬세한 손가락 움직임부터 애니메이션 캐릭터까지

공개된 결과물에 따르면 3D Move의 제어 정밀도는 매우 인상적입니다. 영상 생성에서 가장 깨지기 쉬운 손가락 관절의 움직임과 미세한 표정 변화까지 흐트러짐 없이 유지합니다.

실사 인물뿐만 아니라 2D 애니메이션이나 3D 그래픽 캐릭터에도 손쉽게 동작을 입힐 수 있습니다. 텍스트 프롬프트로 카메라 이동 경로를 지정하면 인물의 입체감이 깨지지 않고 자연스러운 트래킹 샷이 완성됩니다.

한 2D 애니메이션 예시에서는 카메라가 아래에서 위로 올라가는 틸트 앵글을 연출하자, 전경에 흩날리는 벚꽃 가지가 맥락에 맞게 자연스럽게 추가되는 디테일까지 보여줬습니다. 단순히 캐릭터 픽셀을 왜곡하는 게 아니라 공간 전체를 3D로 이해하고 있다는 방증입니다.

다만 이번 발표는 아카이브(arXiv)에 등록된 학술 논문 형태이며, 클링 플랫폼에 언제 정식 탑재되거나 코드가 공개될지는 아직 알려지지 않았습니다.

왜 중요한가

AI 비디오 제작에서 '정교한 캐릭터 액션'과 '역동적인 카메라 워크'는 오랫동안 양립하기 어려운 과제였습니다. 카메라를 움직이면 캐릭터가 뭉개지고, 캐릭터를 살리려면 고정 앵글에 만족해야 했습니다.

3D Move는 외부의 인위적인 뼈대로 비디오 모델을 옥죄는 대신, 모델 내부의 공간 지각 잠재력을 암시적 토큰으로 이끌어내는 영리한 해법을 제시했습니다. 기술적인 설계 측면에서 매우 설득력 있는 한 수입니다.

영상 제작자, 애니메이터, 1인 크리에이터 입장에서는 연출의 자유도가 차원이 다르게 확장됩니다. 삼각대에 스마트폰을 올려두고 찍은 밋밋한 액션 클립 하나만으로도 영화 같은 다이내믹한 궤도 회전 샷을 뽑아낼 수 있기 때문입니다.

그러나 현재는 연구 논문 단계에 머물러 있습니다. 우리가 보기에 관건은 추론 비용과 최적화입니다. 이 정교한 3D 카메라 제어를 클라우드 서비스 환경에서 일반 이용자가 감당할 수 있는 속도와 비용으로 구현해낼 수 있을지가 상용화의 핵심 시험대가 될 것입니다.