アリババが「LHM」を発表：1枚の写真から数秒で動く3Dアバターを生成

1枚の写真を動かせる3Dアバターに変換する作業は、これまで膨大な時間と手間がかかる領域でした。専門のスタジオで複数台のカメラを使ってスキャンするか、動画を入力して最適化計算に何十分も待つ必要があったためです。

アリババの研究チームは、単一の画像からわずか数秒でアニメーション可能な高精度3D人体アバターを生成する新モデル「LHM（Large Animatable Human Reconstruction Model）」を発表しました。

最適化ループを省くフィードフォワード処理

単一画像からの3D人体復元における最大の壁は、幾何学的な形状、テクスチャ、そして関節や筋肉の変形という3つの要素をきれいに分離して推定することの難しさにあります。

従来の静的3Dモデルは学習用スキャンデータの制約から汎用性に乏しく、動画ベースの手法は綺麗に出力できる一方で計算コストが重すぎました。LHMはこうした問題を解決するため、反復的な最適化を排し、フィードフォワードの1パスで3D Gaussian Splatting（3D高斯スプラッティング）表現を出力します。

中核となるのは「Multimodal Body-Head Transformer（MBHT）」と呼ばれる構造です。入力画像から身体と頭部のトークンを抽出し、アテンション機構によって3D幾何トークンと画像特徴を融合させた上で、高精度なガウシアンパラメータへと一気にデコードします。

顔や手の後処理が不要に

従来の生成技術では、顔のパーツが崩れたり手が溶けたような形状になったりするため、生成後に別のモデルで修正をかけるのが一般的でした。

LHMでは頭部特徴ピラミッドエンコーディングを採用し、顔周辺のマルチスケールな特徴を細かく抽出します。これにより、元の人物の特徴を維持したまま、顔や手に追加の後処理を挟むことなく自然なアバターを生成できるとしています。

ただし、完璧な出力ばかりではありません。研究チームが公開した結果によると、マスクによる切り抜きの影響で輪郭部分に白い遮蔽アーティファクトが発生する場合があるほか、骨格の動作推定において軽微なジッター（ブレ）が残るケースも報告されています。

なぜ重要か

私たちは、動かせる3Dアバターの生成コストを「分や時間」から「数秒」へと短縮した点に最大の意義があると考えています。

ゲーム開発者やメタバースプラットフォーム、EC事業者の視点で見れば、ユーザーが自分の写真を1枚アップロードするだけで、即座に動かせるアバターを提供できる未来が現実味を帯びてきました。これまで専用リグの作成にかかっていた膨大な工数を大幅に削れる可能性があります。

業界全体にとっても、静的な3Dオブジェクト生成から「動く人体」の即時生成への移行を加速させる契機になります。3D Gaussian SplattingとTransformerの組み合わせによって、複雑な変形モデルをリアルタイムに近い速度で吐き出せることを実証したためです。

アリババの手法は計算効率の面で極めてスマートに見えますが、輪郭のノイズや動作のブレといった課題は、業務用のハイエンドな映像制作に組み込むにはまだ調整が必要です。まずはカジュアルなソーシャルアプリや試着体験といった軽量なユースケースから普及していくと見られます。