Pulse of Motion：AI動画の「時間の歪み」を物理法則に補正する軽量オープンソース

最近のAI生成動画は、静止画としてのリアルさこそ圧倒的ですが、いざ再生してみると独特の違和感を覚えることが少なくありません。

物が落ちる速度が宇宙空間のように不自然に遅かったり、生き物の動きが早送りになったりします。3月15日、テキサスA&M大学の研究チームはこの問題を解決するため、軽量AIモデル「Pulse of Motion」のコードをオープンソースとして公開しました。

なぜAI動画は時間の感覚を失うのか

研究チームは、AIが現実の時間の長さを正しく再現できない現象を「計時錯覚」（Chronometric Hallucination）と名付けました。

原因はモデルの学習プロセスにあります。ネット上にある無数の映像は、スローモーションや微速度撮影など撮影時の速度がバラバラです。それらが学習時に24fpsや16fpsといった固定フレームレートへ一律に揃えられた結果、AIは「物がどう見えるか」は学習できても、「現実世界でどのくらいの速さで動くべきか」という体内時計を持てなくなってしまいました。

その結果、ハチドリの羽ばたきが極端なスローになったり、重力を無視した落下映像が生まれたりします。また、一般的なマルチモーダル言語モデル（VLM）に動画を見せても、時間感覚の判定役としては全く頼りにならないことも実験で判明しました。

2GB未満の小型モデルが導き出す「物理フレームレート」

Pulse of Motionのアプローチは非常に合理的です。動画生成モデル自体を一から再学習させるのではなく、画面内のダイナミクスから本来あるべき「物理フレームレート（PhyFPS）」を直接計測します。

モデルサイズは2GB未満と非常に小さく、一般的な民生用PCでも手軽に動かせます。映像内の動きを解析して物理的な本来のスピードを算出し、その数値に基づいて再生速度をリタイム補正します。

公開された実験データを見ると、効果は一目瞭然です。床を這うヘビの動画は公称24fpsから物理速度60.2fpsへ、油で揚がるオニオンリングも24fpsから58.9fpsへと引き上げられ、リアルな挙動を取り戻しました。逆に網の中で暴れる魚の映像は24fpsから15.0fpsへ減速され、雨粒が葉に当たる映像は16fpsから21.1fpsに微調整されています。

コードとモデルに加え、各生成AIの物理整合性を測定するリーダーボードも同時に公開されました。

なぜ重要か

Pulse of Motionは、力任せの大規模化に対する非常にスマートな回答だと考えます。

現在、動画生成AIの開発競争はパラメータ数や解像度の向上に終始しがちですが、現実の物理法則、特に時間軸の再現は置き去りにされてきました。テキサスA&M大学の研究チームは、巨大な計算資源を使って基礎モデルを再学習させるのではなく、わずか2GB足らずの軽量モデルを後処理として挟むことで、映像の説得力を劇的に改善してみせました。

動画クリエイターにとっては、生成した素材の「浮遊感」や「早回し感」を編集ソフトで手動補正する手間が省ける実用的なツールになります。

もちろん、元動画の段階で動きのフレームが激しく破綻していれば、再生速度の補正だけで全てを救えるわけではありません。しかし、動画AIの進化において「見た目の美しさ」と同じくらい「時間の正確さ」が重要であることを示した点で、今後の生成パイプラインに大きな影響を与えるはずです。