Meta、骨格不要で動く3Dアバター技術「LUNA」発表　写真とスケッチで動作

3Dキャラクターのアニメーション制作を経験したことがある人なら、骨格リギングとスキニングの煩わしさはよく知っているはずです。少しでも不自然なポーズをとらせると、関節が破綻したり、衣服のメッシュが引き裂かれたりといったトラブルが日常茶飯事でした。

Metaは6月30日、こうした従来の制約を根本から取り払う新たな3D人体アニメーション技術「LUNA」を発表しました。

LUNAの最大の特徴は、従来の骨格モデルやメッシュフィッティングに一切依存しない点です。動かしたい人物の写真数枚と、任意の動作入力を与えるだけで、生き生きとした3Dアバターの動作を直接復元します。

骨格を捨て、2D信号から直接3Dガウシアンを変形させる

これまで単眼カメラの画像から動く3Dアバターを作る際は、線形ブレンドスキニング（LBS）や定義済みの人体パラメトリックモデルに頼るのが常識でした。しかし単眼推定では関節位置のわずかなズレがそのまま激しいジッターや形状破綻につながり、リアルな衣服の揺れを表現することも困難でした。

LUNAは、骨格へのフィッティングをバイパスし、2Dの制御信号を3Dガウシアン（3D Gaussian）の変形へと直接マッピングする初のエンドツーエンドモデルです。

動かすための入力信号も極めて柔軟です。別の人物が動いている通常動画はもちろん、2Dキーポイントの連続データ、さらには手描きのアニメーションスケッチからでもそのまま3Dアバターを駆動できます。

アーキテクチャ面では、Transformerベースのアニメーターを採用しています。身体全体の大きな位置変化を担う「グローバル剛体運動」と、衣服のシワや微細な揺れを担う「ローカル非剛体運動」を分離して学習することで、ダイナミックな動きと細やかな質感の両立に成功しました。

身体が平らに潰れないためのハイブリッド指導

骨格という幾何学的な制約を完全に外して2Dから3Dの変形を直接学ばせると、モデルは人体を紙のように平らな形状に潰してしまうという本質的な課題に直面します。

そこでMetaの研究チームは、ハイブリッド監督法を導入しました。従来のLBSモデルを駆動役ではなく「ソフトな幾何学的教師」として活用し、構造的な事前知識だけを蒸留しています。

さらに動的な損失リウェイト手法を組み合わせることで、少数の骨格付きデータだけでなく、ネット上の膨大なラベルなし日常動画を取り込んでスケールアップ学習を行えるようにしました。これにより、未学習の人物写真に対してもゼロショットで高精度に動作を適用できます。

なぜ重要か

私たちは、LUNAが3Dアバター制作のワークフローを根本から変える可能性を秘めていると考えています。

インディーゲーム開発者や映像クリエイターにとって、骨格入れとウェイト調整の自動化・不要化は制作コストの劇的な削減を意味します。数枚の写真とラフなスケッチだけで動く3Dキャラクターが手に入るなら、個人でもリッチなインタラクティブコンテンツを量産できるようになります。

業界全体で見れば、3D人体表現が従来の固定メッシュから、完全なニューラル表現へと移行する流れを決定づける成果と言えます。Metaにとっても、空間コンピューティングやメタバース向けのアバター生成パイプラインを簡素化する上で強力な布石となるはずです。

もちろん、現時点では論文発表段階であり、ゲームエンジン内でミリ単位の衝突判定や手動修正を行いたい場合には、従来のボーン構造に比べて調整が難しいという課題も残ります。それでも、骨格という足場を外しても人間は自然に動けることを実証した意義は非常に大きいです。