물리 법칙 따르는 영상 생성 프레임워크 'MMPhysVideo' 공개

지금의 AI 모델에게 컵이 바닥에 떨어지는 장면을 만들게 하면, 컵이 공중에서 녹아내리거나 고무공처럼 튀어 오르는 기괴한 장면이 자주 연출됩니다. 화질은 날로 선명해지지만 물리 법칙이 개입하는 순간 여지없이 한계를 드러내는 셈입니다.

연구진은 기존 영상 확산 모델이 픽셀 예측에만 매달리며 발생하던 물체 왜곡과 물리적 오류를 바로잡는 새로운 프레임워크 'MMPhysVideo'를 공개했습니다. 연구팀은 코드와 데이터셋 전체를 오픈소스로 공개할 예정입니다.

픽셀 예측을 넘어 기하학과 궤적을 통합하다

기존 영상 모델이 물리적으로 엉뚱한 결과를 내놓는 이유는 프레임을 단순한 픽셀 재구성 게임으로 처리하기 때문입니다. 화면의 색상 변화만 예측하다 보니 중력, 물체의 형태, 공간 내 상호작용 같은 물리적 실체를 인지하지 못합니다.

MMPhysVideo의 핵심은 멀티모달 통합 모델링입니다. 연구진은 의미 정보, 3차원 기하학 구조, 시공간 궤적과 같은 물리적 단서를 유사 RGB(pseudo-RGB) 포맷으로 변환해 확산 모델이 시각 정보와 함께 물리적 역학을 직접 학습하도록 만들었습니다.

화면 렌더링과 물리 신호가 충돌하는 문제를 막기 위해 양방향 제어 교사(Teacher) 아키텍처도 도입했습니다. RGB 처리와 물리 인지 처리를 병렬 분기로 분리하고, 제로 초기화된 제어 링크 두 개를 통해 픽셀 단위 일관성을 안정적으로 학습시킵니다.

실제 활용에서 중요한 추론 속도 문제도 깔끔하게 해결했습니다. 표현 정렬(representation alignment)을 통해 교사 모델의 물리적 사전 지식을 단일 스트림 학생(Student) 모델로 증류(distillation)해, 추론 시 추가 연산 비용이 전혀 들지 않도록 설계했습니다. 함께 개발된 MMPhysPipe 파이프라인은 시각 언어 모델(VLM)을 활용해 물리적 주체를 추적하고 정밀한 멀티모달 데이터를 구축합니다.

왜 중요한가

영상 제작자와 게임 개발자에게 AI 영상의 가장 큰 걸림돌은 통제되지 않는 기괴한 형태 왜곡이었습니다. 충돌이나 이동 장면에서 물리적 일관성이 보장된다면 무한히 생성을 반복하는 소모전 없이도 실제 상용 파이프라인에 AI 영상을 투입할 수 있습니다.

업계 관점에서도 컴퓨팅 자원을 무작정 쏟아부어 픽셀 단위로 세상을 깨우치게 하려던 기존 접근법에 중요한 대안을 제시합니다. 기하학과 궤적 같은 물리적 신호를 직접 주입하고 이를 가벼운 모델로 지식 증류하는 방식이 훨씬 경제적이고 실용적임을 입증했습니다.

우리가 보기에 이 프레임워크의 가장 영리한 지점은 물리 법칙을 챙기면서도 추론 지연 시간을 늘리지 않았다는 점입니다. 유체나 연성 물체처럼 까다로운 상호작용까지 완벽하게 소화할지는 코드가 완전히 공개된 뒤 검증이 필요하겠지만, 영상 AI가 물리적 현실을 다루는 올바른 방향을 잡은 것은 분명합니다.