FlexAvatar発表：写真1枚から2分で360度動かせる3D頭部アバターを生成

1枚の自撮り写真から3Dアバターを作ろうとすると、正面はそれらしく見えても、横を向いた瞬間に後頭部が消え去ったりテクスチャが破綻したりするのがこれまでの常でした。

研究チームが発表した「FlexAvatar」は、まさにその課題に挑むアプローチです。たった1枚の静止画を入力するだけで、わずか2分で360度どこから見ても破綻しない、表情を動かせる3D頭部モデルを生成します。

頭部の回転と表情の動きをきれいに分離する

単一のカメラ映像から学習する従来の手法では、カメラの視点変更と顔の筋肉の動きが混ざり合い、視点を大きく回した際に形状が歪む「視点外挿」の壁がありました。

FlexAvatarはTransformer基盤のエンコーダー・デコーダー構造を採用し、DINOv2と3D Gaussian Splatting（3DGS）を組み合わせてレンダリングを行います。画像から潜在アバターコードを抽出し、高速描画可能な3DGSへと変換する仕組みです。

独自の工夫は「bias sinks」と呼ばれる学習可能なデータソース用トークンです。これによって、大量にある単眼動画の汎用性の高さと、少数で高価なマルチビューデータの立体的な完全性を同時に学習することに成功しました。

結果として、視点パラメータと表情パラメータの完全な分離が実現。後頭部まで完全にレンダリングしながら、自然に話したり笑ったりするアニメーション制御が可能になりました。

2分で完成、VRAM消費はわずか1.7GB

手軽さと動作の軽さも大きな強みです。アバターのビルド時間は約2分で完了します。

推論とレンダリングはRTX 3090上で動作させた場合、VRAM消費量はわずか1.7GBに抑えられ、20 FPSでのリアルタイム描画を実現しています。さらに潜在空間が滑らかに整えられているため、複数枚の写真を使った詳細化や、異なる人物同士の特徴補間にも柔軟に対応できます。

なぜ重要か

私たちが注目すべきだと考えるのは、高価なマルチアングル撮影スタジオを前提とせず、Web上の単眼データと少数の3Dデータを賢く統合した点です。

インディーゲーム開発者やVTuber、メタバース関連のクリエイターにとって、高品質なアバター作成コストが劇的に下がります。写真1枚と数分の処理だけで、崩れない360度アバターが手に入る意義は小さくありません。

特に1.7GBという極めて低いVRAM消費量は実用面で大きな強みです。クラウドの高級GPUを占有することなく、一般的なゲーミングPCでゲームエンジンや配信ソフトと同時にアバターを動かせる現実的な軽さだからです。

ただし、20 FPSという描画速度はリアルタイム用途として最低限のラインであり、60 FPSのような滑らかさを求めるにはさらなる最適化が必要です。また、極端な逆光や髪型による遮蔽がある単一画像への頑健性については、今後の検証を見守る必要があります。