텐센트 SCoPE 공개: 0.1% 미만의 파라미터로 AI 영상 카메라 제어

AI로 영상을 제작해 본 사람이라면 카메라가 제멋대로 움직여 겪는 답답함을 잘 알고 있을 것입니다. 앞으로 곧게 전진하라고 지시해도 비스듬히 떠밀리듯 움직이거나, 시선을 돌렸다가 다시 돌아왔을 때 방금 전의 배경이 딴판으로 바뀌어 버리는 일이 흔했습니다.

이번 주 텐센트 연구진은 비디오 확산 트랜스포머(DiT)를 위한 카메라 제어 기술인 'SCoPE'를 공개했습니다. 기존 모델에 추가되는 파라미터는 0.1% 미만에 불과하지만, 지정된 카메라 궤적을 매우 정밀하게 재현합니다.

카메라 시선을 '제2의 주소'로 부여하다

기존 영상 생성 모델은 이미지를 만들기 전까지 3차원 공간의 어느 위치에 물체가 놓일지 알 수 없습니다. 이 상태에서 무리하게 카메라 외부 파라미터를 주입하면 영상 품질이 깨지기 일쑤였습니다.

SCoPE의 발상은 직관적입니다. 물체의 3차원 위치를 추측하는 대신, 사용자가 설정한 카메라의 '시선 광선(ray)' 자체를 각 토큰의 두 번째 위치 주소로 활용합니다. 어텐션 연산 과정에 광선 간의 기하학적 관계를 반영해 모델이 시선 방향을 명확히 인식하도록 만든 것입니다.

이 과정은 가벼운 정규화·게이팅·주입 경로를 통해 구현되었으며, 사전 학습된 기존 RoPE 인코딩을 손상 없이 완벽히 보존합니다. 추가되는 파라미터는 0.1% 미만이지만, 5B 및 14B 규모의 모델 모두에서 카메라 제어 정확도와 영상 디테일이 동시에 향상되었습니다.

90도 회전 후 돌아와도 배경이 유지된다

작동 방식은 간단합니다. 기준 이미지 한 장과 원하는 이동 궤적을 입력하면 모델이 지정된 경로를 따라 영상을 생성합니다. 뒤로 빠지며 상승하는 샷, 밀고 들어가는 스위프 샷, S자 곡선 연출, 크레인 상승 등 다양한 움직임을 충실히 구현합니다. 심지어 키보드의 WASD 키를 눌러 3인칭 시점 카메라를 게임처럼 실시간 조작할 수도 있습니다.

가장 인상적인 대목은 '재방문 일관성'입니다. 카메라가 90도 회전해 문을 통과한 뒤 다시 원래 자리로 돌아보아도, 이전에 보았던 배경이 흔들리거나 변형되지 않고 그대로 유지됩니다.

연구진은 이것이 무거운 외부 메모리 모듈을 덧붙인 결과가 아니라, 동일한 광선 좌표를 재사용하는 좌표계 자체의 특성에서 비롯된 것이라고 설명합니다. 해당 프로젝트는 아파치 2 라이선스로 깃허브에 코드가 공개되어 있으며 로컬 환경 실행 방법도 함께 제공됩니다.

왜 중요한가

카메라 움직임은 영상 연출의 핵심 문법입니다. 그동안 창작자들은 프롬프트 운에 기대어 수없이 영상을 다시 뽑아야 했지만, 궤적을 직접 통제할 수 있게 되면서 스토리보드 설계와 3D 프리비주얼 작업의 실용성이 크게 높아졌습니다.

접근 방식도 매우 영리합니다. 거대한 제어 전용 네트워크를 별도로 붙이거나 막대한 비용을 들여 처음부터 모델을 다시 학습시키는 대신, 0.1% 미만의 미세한 구조적 보완만으로 기존 DiT의 잠재력을 끌어냈습니다.

다만 단일 프레임 기반의 시연을 넘어 복잡하게 움직이는 동적 객체나 장시간 연속 장면에서도 이런 공간적 결속력이 얼마나 안정적으로 유지될지는 실제 프로덕션 현장의 검증을 지켜볼 필요가 있습니다. 그럼에도 카메라 제어의 경제성과 완성도를 동시에 잡은 탁월한 연구입니다.