Pulse of Motion: 물리 프레임 측정으로 AI 영상의 어색한 속도 바로잡는다

최근 AI가 생성한 영상을 보면 정지 화면의 질감은 실제 촬영물과 구분하기 힘들 정도로 발전했지만, 재생 버튼을 누르는 순간 묘한 이질감이 드러나곤 합니다.

떨어지는 사람이 중력을 거스르듯 둥둥 떠다니거나, 새의 날갯짓이 지나치게 느리게 움직입니다. 3월 15일, 텍사스 A&M 대학교(Texas A&M University) 연구진은 이러한 문제를 짚어내고, AI 영상의 시간 감각을 현실에 맞게 교정해 주는 2GB 미만의 경량 오픈소스 모델 Pulse of Motion을 공개했습니다.

생성 모델이 시간 감각을 잃어버린 이유

연구진은 AI가 현실의 움직임 속도를 제멋대로 왜곡하는 이 현상을 '계시 환각'(Chronometric Hallucination)이라고 정의했습니다.

이 오류가 생기는 근본적인 원인은 학습 데이터의 왜곡에 있습니다. 인터넷에 존재하는 수많은 영상은 제각기 다른 속도로 촬영되었지만, AI를 학습시키는 과정에서 16프레임이나 24프레임 같은 정형화된 프레임 레이트로 일괄 압축됩니다. 결국 모델은 겉모습이 어떻게 변하는지는 배웠지만, 중력이나 마찰력이 현실에서 얼마나 빠른 주기로 작용하는지는 전혀 모른 채 확률적으로 그럴듯한 속도를 찍어 맞추게 된 것입니다.

연구팀의 실험에 따르면 일반적인 시각-언어 모델(VLM) 역시 영상 속 실제 속도를 분별하는 능력은 턱없이 부족했습니다.

2GB 소형 모델로 재는 실제 물리 속도

Pulse of Motion은 수십억 파라미터짜리 거대 모델을 처음부터 다시 학습시키는 대신, 외부에서 시각적 움직임을 읽어내 실제 '물리 프레임 레이트'(Physical FPS)를 도출하는 방식을 취했습니다.

모델 용량은 2GB가 채 되지 않아 일반 소비자용 PC 환경에서도 무리 없이 돌아갑니다. 영상 내부의 역학적 변화를 관찰해 이 동작이 현실 물리 세계라면 몇 프레임으로 재생되어야 마땅한지 계산한 뒤, 그 속도에 맞춰 프레임을 재조정(Re-timing)합니다.

프로젝트 페이지에 공개된 수치들은 인상적입니다. 원래 24fps로 생성되어 미끄러지듯 어색했던 뱀의 기어가는 동작은 실제 물리 속도인 60.2fps로 보정되었고, 끓는 기름에 양파링을 튀기는 장면도 24fps에서 58.9fps로 조정되어 튀김옷의 바삭한 타격감이 살아났습니다. 반면 그물 안에서 요동치는 물고기 영상은 24fps에서 15.0fps로 늦춰졌고, 나뭇잎에 떨어지는 빗방울은 16fps에서 21.1fps로 정교하게 맞춰졌습니다.

연구진은 모델 코드와 함께 생성 영상들의 물리 정합성을 평가하는 PoM 리더보드도 함께 개설했습니다.

왜 중요한가

우리는 Pulse of Motion이 거대 모델의 맹점을 매우 영리한 방식으로 찔렀다고 평가합니다.

현재 주요 AI 비디오 기업들은 조 단위 연산 비용을 들여 화질과 일관성을 높이는 데 몰두하고 있지만, 시간 축의 물리 법칙을 모델 내부에서 온전히 구현하지 못하고 있습니다. 텍사스 A&M 연구팀은 수만 대의 GPU로 기반 모델을 뜯어고치는 대신, 2GB도 안 되는 가벼운 후처리 도구 하나로 영상의 어색한 '붕 뜬 느낌'을 현실의 중력 위에 올려놓았습니다.

영상 제작자나 3D 그래픽 아티스트 입장에서는 생성물이 나올 때마다 편집 툴에서 번거롭게 재생 배속을 수작업으로 늘리고 줄이던 수고를 크게 덜어낼 수 있습니다.

물론 원본 영상 자체가 심각하게 뭉개지거나 동작 프레임이 아예 누락된 경우라면 단순히 재생 속도를 바꾼다고 완벽한 영상이 되지는 않습니다. 하지만 AI 비디오 평가의 기준을 단순한 해상도 경쟁에서 '시간적 물리 정밀도'라는 구체적인 영역으로 끌어올렸다는 점에서 업계에 던지는 메시지가 큽니다.