Metaが新技術「Avat3r」発表：自撮り4枚から動かせるリアルアバターを数分で生成

VR空間で「不気味の谷」を越えたリアルなアバターを作ろうとすると、これまでは途方もない手間がかかっていました。100台以上の業務用カメラを並べた特注スタジオに入るか、スマホの前で3分以上かけて65種類もの表情を作り、4基のハイエンドGPUで数時間計算させる必要があったのです。

Metaとミュンヘン工科大学の研究チームが発表した論文「Avat3r」は、この常識を覆しました。必要なのは、普段使っているスマートフォンで撮った、たった4枚の自撮り写真だけです。生成にかかる時間も、数時間からわずか数分へと短縮されました。

4枚の写真から3Dガウスを予測する

Metaは6年以上にわたりリアルなアバター生成に取り組んできましたが、高精度なアバターの最大の壁はデータ収集と計算コストでした。

今回のAvat3rは、自然言語処理のLLMと同じように、トランスフォーマー構造を3D視覚タスクに応用した大規模再構築モデル（LRM）を採用しています。視覚トランスフォーマー（ViT）を活用することで、4枚の2D写真から顔の立体構造を推測し、3Dガウシアン（3D Gaussian Splatting）を直接予測します。

この技術はVarjo TeleportやMetaのHorizon Hyperscapesなどでも注目を集めている手法で、皮膚の質感や髪の毛をリアルに再現できます。

ただし、現時点ではリアルタイム表示には程遠い状態です。生成自体は数分で終わるものの、RTX 3090を使っても描画速度はわずか8FPSにとどまります。また、現段階の表情アニメーションはVRヘッドセットのフェイストラッキングと直接連動していません。とはいえ、トラッキングを入力として組み込むこと自体は技術的に可能とされています。

なぜ重要か

ユーザーの視点で見れば、アバター作成の手間が劇的に下がることの意義は絶大です。4枚の自撮りをアップロードするだけなら、誰でも途中で投げ出さずに設定できます。ただし、8FPSという描画負荷を考えると、今すぐQuestなどのデバイスに実装されて体験できる段階ではありません。まずは研究成果としてのマイルストーンと捉えるのが妥当です。

業界にとっては、ハードウェア頼みのキャプチャから、事前学習モデルによる「推論」への決定的な転換を示しています。何十台ものカメラで全方位から撮影しなくても、大規模モデルが不足している情報を補完できることが証明されました。これにより、競合するメタバース企業やゲームエンジン開発会社も、同様のLRM手法への移行を迫られることになります。

私たちの見解として、ユーザー側の負担を極限まで削り、学習済みモデルの知能で穴埋めするというMetaのアプローチは非常にスマートです。8FPSという現在のレンダリング速度は弱点ですが、AIの推論効率や3Dガウシアンの軽量化は急速に進んでいます。数世代の最適化を経れば、誰でもスマホ写真数枚から数分で自分の写実的なデジタル分身を手に入れる時代が現実味を帯びてきそうです。