AI 영상의 인체 왜곡 잡는 'PhyMotion' 공개: 물리 시뮬레이터로 움직임 채점

AI로 영상을 만들어 본 사람이라면 요가를 하다가 갑자기 팔이 세 개로 늘어나거나, 태권도 발차기를 하다가 다리 관절이 기괴하게 꺾이는 장면을 한 번쯤 겪어봤을 겁니다.

현재의 비디오 생성 모델들은 정적인 풍경이나 단순한 인물 묘사에는 뛰어나지만, 피겨 스케이팅이나 무술처럼 복잡한 신체 동작을 만나면 해부학적 구조가 쉽게 무너집니다. 기존 보상 체계가 2차원 픽셀 신호에만 의존하다 보니, 몸이 공중에 붕 뜨거나 관절이 뒤틀려도 겉보기가 그럴싸하면 높은 점수를 주는 맹점이 있었기 때문입니다.

연구진은 이런 왜곡 문제를 정밀하게 잡아내는 새로운 보상 프레임워크 'PhyMotion'의 논문을 발표하고 코드를 오픈소스로 공개했습니다.

생성 영상을 MuJoCo 시뮬레이터에 태우다

PhyMotion의 해결책은 매우 영리합니다. 2차원 평면 위에서 픽셀을 채점하는 대신, 생성된 영상에서 인체의 3D 메쉬(SMPL) 구조를 먼저 복원합니다.

그런 다음 이 3D 동작 궤적을 로보틱스 연구에서 널리 쓰이는 물리 시뮬레이터인 'MuJoCo' 속 휴머노이드 모델에 그대로 입힙니다.

물리 엔진 안으로 들어간 동작은 세 가지 기준에 따라 냉정하게 검증받습니다. 관절 회전이 인체 한계 내에 있는지 확인하는 기구학적 타당성, 발과 신체가 바닥에 안정적으로 닿아 있는지 보는 접지 및 균형 일관성, 그리고 동역학적 실현 가능성입니다.

발이 바닥을 딛지 않고 허공을 미끄러지듯 이동하거나 뼈가 비현실적으로 꺾이면 감점이 이뤄지고, 물리 법칙을 충실히 따른 영상에만 강화학습 보상이 주어집니다.

블라인드 평가에서 Elo 68점 상승

연구 결과에 따르면 PhyMotion이 매긴 점수는 기존 2D 기반 보상 지표보다 인간의 실제 시각적 판단과 훨씬 높은 상관관계를 보였습니다.

자기회귀형 및 양방향 비디오 생성 모델을 대상으로 PhyMotion을 활용해 사후 학습을 진행한 결과, 동작의 사실성이 크게 향상됐습니다. 사람을 대상으로 진행한 블라인드 평가에서는 기존 보상 모델 대비 Elo 점수가 68점이나 올랐습니다.

요가나 쿵푸 같은 고난도 동작에서도 사지가 사라지거나 기괴하게 변형되는 현상이 눈에 띄게 줄어들었습니다. 극단적인 동작에서 여전히 미세한 오류가 생기기는 하지만, 실질적인 코드와 설치 가이드는 이미 깃허브 등에 공개돼 있습니다.

왜 중요한가

우리는 PhyMotion이 비디오 모델에게 물리 법칙을 억지로 깨우치게 하려 들지 않고, 검증된 물리 시뮬레이터를 채점관으로 끌어들인 점이 매우 똑똑한 선택이라고 봅니다.

그동안 업계는 무지막지한 양의 동영상 데이터를 쏟아부으면 AI가 자연스럽게 물리 법칙까지 터득할 것이라 기대했습니다. 하지만 픽셀 단위 예측만으로는 복잡한 접촉과 균형을 학습하기 어려웠습니다. PhyMotion은 MuJoCo 같은 로봇 시뮬레이터를 사후 학습 과정에 도입해, 추가 학습 비용을 크게 늘리지 않으면서도 가장 골치 아픈 사지 왜곡 문제를 해결해 냈습니다.

영상 창작자나 게임 개발자 입장에서도 실질적인 도움이 됩니다. 지금까지 인물의 역동적인 안무나 액션 장면은 생성 실패율이 너무 높아 상용 작업에 쓰기 까다로웠는데, 물리 엔진 기반 보상이 상용 툴에 적용된다면 버려지는 컷을 획기적으로 줄일 수 있습니다.

비디오 생성 AI의 경쟁 축은 이제 단순한 해상도 싸움을 넘어 3차원 공간감과 물리적 일관성으로 옮겨가고 있습니다. 로보틱스와 물리 시뮬레이션 기술을 비디오 생성에 접목하는 흐름은 앞으로 점점 더 거세질 것으로 보입니다.