PhysiFormer公開：3Dメッシュの衝突や弾性変形を予測する物理拡散モデル

PhysiFormerは、3Dメッシュの物理的な運動や変形を高精度に予測するオープンソースの拡散Transformerモデルです。

画像から3D形状を作る生成AIは増えましたが、生成されるアセットの大半は静止した硬い形状にとどまります。それらをシミュレータに放り込んでも、重力や衝突に対して現実らしく反応させるのは容易ではありませんでした。PhysiFormerは、3Dメッシュの初期形状と速度、素材情報を与えるだけで、その後のリアルな物理アニメーションを直接予測します。

何ができるのか

入力として必要なのは、物体の3Dメッシュ頂点、各頂点の初期速度、そして剛体か弾性体かという材質ラベルだけです。これらを渡すと、物体が落下して地面に衝突したり、物体同士がぶつかり合ったりする軌道を生成します。

金属のような剛体であれば形状を保ったまま跳ね返り、ゼリーやゴムのような弾性体であれば落下時にリアルにつぶれて元の形に戻ります。単一の物体だけでなく、複数の物体が入り混じる衝突シーンにも対応可能です。

モデルは10万件以上の物理シミュレーション軌跡を用いて学習されています。学習データに含まれていない未知の3D形状や、異なる材質が混在する配置に対しても高い汎化性能を発揮します。

どのような仕組みか

近年の世界モデルの多くは2D動画生成のアプローチを採っていますが、カメラ視点や遮蔽の影響を受けやすい弱点があります。PhysiFormerはカメラ視点に依存せず、実世界の3Dメッシュ頂点座標上で直接デノイジング拡散を行うアプローチを選びました。

ベースにはDiffusion Transformerを採用し、自己注意機構を時間、空間、物体の3軸に分解して処理しています。これにより、特殊なトークンを追加することなく、複数の物体が存在するシーンを効率よく扱えます。

また、従来の物理ニューラルモデルに多かった次フレームを順番に予測する自己回帰型をやめ、時間ウィンドウ全体の軌跡を一括生成する方式をとっています。これにより誤差の蓄積を防ぎ、物理的な一貫性を保ちやすくなっています。プロジェクトページではコードとモデルが公開されており、データセットも順次提供される予定です。

なぜ重要か

3Dグラフィックスやゲーム開発、ロボティクス領域で物理シミュレーションを扱う技術者にとって、触ってみる価値が高いツールです。生成した静的な3Dモデルに、手作業のリギングなしで物理挙動を与えられる可能性を持っています。

映像ピクセルを予測する動画世界モデルと比べ、3D座標空間で直接運動を解くアプローチは、ロボットの制御や力学設計において格段に実用的だと評価できます。現時点では剛体と弾性体という単純な材質分類に限られますが、形状を理解する物理エンジンの新しい方向性を示しています。