AI動画の人体崩壊を防ぐ「PhyMotion」公開：物理エンジンで関節や接地を採点

AIで動画を作ったことがある人なら、ヨガのポーズをとる人物の腕が突然3本に増えたり、カンフーのアクションで関節があらぬ方向に曲がったりする不気味な映像を見たことがあるはずです。

現在の動画生成モデルは風景や静止に近い構図には強いものの、フィギュアスケートや武術のように複雑な身体の動きになると途端に破綻します。既存の評価システムが2Dの見た目だけに頼っているため、身体が浮いていたり関節が折れていたりしても、高得点を与えてしまうのが原因でした。

研究チームはこの問題を根本から解決する報酬システム「PhyMotion」の論文を発表し、コードをオープンソースとして公開しました。

生成動画をMuJoCoに流し込んで採点

PhyMotionのアプローチは非常に合理的です。平らな2Dピクセルだけで採点するのをやめ、生成された動画から人物の3Dメッシュ（SMPL）を復元します。

そして、その3D動作データをロボット工学などで広く使われる物理シミュレータ「MuJoCo」の人型モデルにそのまま流し込みます。

物理エンジン内では、動作が現実的かどうかを3つの軸で検証します。関節の可動域が妥当かというキネマティクス、足や身体が床と正しく接地してバランスを保っているか、そして動力学的に無理がないかです。

関節が人間離れした回転をしていないか、歩行時に地面を滑るように浮いていないかといった点を明確に数値化し、物理法則にかなった動作に対してモデルに報酬を与えます。

ブラインド評価でEloが68ポイント向上

論文によると、PhyMotionによる評価スコアは従来の2D報酬よりも人間の主観評価と強く一致しました。

この報酬を用いて強化学習による事後学習（Post-training）を行ったところ、自己回帰型および双方向型の両方の動画生成モデルで動作のリアリティが大きく改善しました。人間のブラインド評価では、従来手法と比べてEloスコアが68ポイント向上しています。

ヨガや格闘技のように崩れやすかったプロンプトでも、手足の消失や余計な四肢の発生が目に見えて減少し、床への足の着地感も安定しました。極端なケースではまだ微細なエラーが残るものの、コードや導入手順はすでに公開されており、誰でも検証可能です。

なぜ重要か

私たちは、動画モデル自身に物理法則を一から学習させるのではなく、実績ある物理エンジンに審判役を任せた点が極めて賢いアプローチだと考えています。

これまで動画AIは、膨大な映像データを学習すればいずれ物理法則も理解できると考えられてきましたが、ピクセル予測だけでは骨格の破綻を抑えきれませんでした。PhyMotionのようにMuJoCoを組み込むことで、過度な学習負荷をかけずに動作の妥当性を担保できるようになります。

映像クリエイターやゲーム制作者にとって、人物のアクションやダンス動画は生成の失敗率が最も高い領域でした。商用ツールにこの仕組みが組み込まれれば、おかしな手足の修正に追われる無駄なリテイクが大幅に減るはずです。

業界全体で見ても、動画生成の競争は単なる解像度や質感の向上から、3D空間における一貫性と物理的な整合性へとシフトしています。ロボティクス分野のシミュレーション技術を動画モデルの訓練に取り入れる動きは、今後さらに加速しそうです。