AI 비디오 물리 왜곡 잡는 '비디오잼' 프레임워크 공개

최근 AI 비디오 생성 기술은 정지 화면만 보면 실사와 구별하기 힘들 정도로 발전했습니다. 하지만 카메라 속 인물이 달리기 시작하거나 물체가 충돌하는 순간, 관절이 기괴하게 꺾이고 물리 법칙이 붕괴하는 한계를 쉽게 드러냅니다.

이는 기존 비디오 확산 모델들이 픽셀 복원 정확도에만 치중해 학습되다 보니, 겉모습의 선명함을 얻는 대신 프레임 간의 움직임 일관성을 놓쳤기 때문입니다.

연구진은 이러한 AI 비디오의 고질적인 물리 왜곡을 해결하기 위해 새로운 생성 프레임워크 '비디오잼(VideoJAM)'을 발표했습니다.

외형과 움직임을 하나로 묶는 공동 표현 학습

비디오잼의 핵심 원리는 모델에게 '어떻게 보이는가'뿐만 아니라 '어떻게 움직여야 하는가'를 동시에 학습시키는 데 있습니다.

학습 단계에서는 영상 프레임과 해당 움직임 정보를 선형 레이어를 통해 단일 잠재 표현으로 결합합니다. 모델은 이 하나의 표현으로부터 시각적 픽셀과 모션 데이터를 함께 예측해야 하므로, 물리적 움직임의 규칙을 자연스럽게 내재화하게 됩니다.

추론 및 생성 단계에서는 '이너 가이던스(Inner-Guidance)'라는 자체 유도 메커니즘이 작동합니다. 외부에서 번거로운 참조 데이터를 추가로 넣지 않아도, 모델 스스로 점진적으로 예측해내는 모션 신호를 가이던스로 삼아 영상이 물리적으로 어긋나지 않도록 이끌어줍니다.

기존 모델에 즉시 적용 가능, 소라(Sora) 넘는 움직임 구현

비디오잼의 뛰어난 장점은 범용성입니다. 방대한 훈련 데이터를 전면 수정하거나 모델 크기를 억지로 키울 필요 없이, 기존 비디오 확산 모델 구조에 최소한의 변경만으로 바로 얹을 수 있습니다.

연구진은 오픈소스 DiT-30B를 기반으로 파인튜닝한 'VideoJAM-30B'를 제작해 복잡한 동작이 포함된 벤치마크 테스트를 진행했습니다.

그 결과 원본 DiT-30B 대비 동작의 자연스러움이 대폭 향상되었을 뿐 아니라, 소라(Sora), 클링(Kling), 런웨이 Gen-3(Runway Gen-3) 등 최고 수준의 상용 폐쇄형 모델들과 비교해서도 더 뛰어난 모션 일관성을 기록했습니다. 움직임이 안정되면서 시각적 품질 역시 덩달아 개선되는 효과를 거뒀습니다.

이번 논문은 머신러닝 분야 주요 학회인 ICML 2025에 채택되었습니다.

왜 중요한가

영상 제작자나 게임, 시각효과(VFX) 업계 입장에서 AI 비디오 도입의 가장 큰 걸림돌은 통제되지 않는 움직임이었습니다. 정지 컷이 아무리 영화 같아도 동작 하나가 뒤틀리면 전체 컷을 버려야 했습니다. 비디오잼처럼 물리적 일관성을 구조적으로 보장해준다면 상용 프로덕션 활용 문턱이 크게 낮아집니다.

업계 전체로 봐도 의미가 큽니다. 빅테크 기업들은 천문학적인 컴퓨팅 자원과 데이터를 쏟아부어 물리 엔진에 가까운 움직임을 흉내 내게 만들고 있습니다. 반면 비디오잼은 목적 함수 설계와 내부 모션 표현 활용이라는 영리한 방법으로도 상용 모델을 앞설 수 있음을 증명했습니다.

아직 장편 비디오 생성 검증이나 극단적인 씬에서의 예외 처리 등 확인해야 할 과제는 남아 있지만, 오픈소스 진영이 거대 자본의 모델과 격차를 좁힐 수 있는 실용적인 돌파구를 열어줬다는 점에서 주목할 가치가 충분합니다.