AppleがFaceLitを発表：2D写真から自由なライティングが可能な3D顔を生成

異なる光やアングルに合わせて自然に見えるリアルな3Dの顔を作るには、これまで高価な撮影スタジオや多数のカメラアレイ、膨大な手動アノテーションが必要とされてきました。

Appleの研究チームは、その大掛かりな機材と手間を根本から省くアプローチを提示しました。

Appleの研究チームは生成フレームワーク「FaceLit」を発表しました。特別な撮影機材やラベル付けを一切使わず、ネット上にある一般的な2D画像から学習するだけで、照明と視角を自由にいじれる3D顔モデルを生成できます。

物理反射モデルを神経レンダリングに組み込む

制御されていない一般的な2D写真から3Dの顔を再構築しようとすると、写真に焼き付いた光の反射と本来の顔の立体感を分離するのが極めて困難でした。

FaceLitはこの問題を賢く回避しています。専用ハードウェアを組む代わりに、既存の姿勢推定器と照明推定器を使って、バラバラな2D写真からおおよその空間情報と光源情報を抽出しました。

その推定値をベースに、古典的なPhong反射モデルをニューラルボリュームレンダリングに統合。モデルは顔の幾何学的形状だけでなく、表面の材質特性まで分解して学習します。

その結果、ユーザーが指定した任意の光源やカメラ視角に合わせても、陰影の破綻や多視点でのズレを起こさず、極めて自然なレンダリングが可能になりました。FFHQ、MetFaces、CelebA-HQの各データセットで自由な照明・視角制御を実証し、FFHQでは3D対応GANとして最高水準となるFID 3.5を達成しています。

なぜ重要か

この研究の価値は、3Dデジタルアバターやグラフィックスアセットの制作ハードルを劇的に下げる可能性を示した点にあります。

従来は映画スタジオや専門業者しか作れなかった「ライティング変更可能な3D顔」が、スナップ写真の束から作れるようになれば、ゲーム制作やバーチャルコンテンツ開発のコストは一気に下がります。

Appleのアプローチで巧みなのは、物理法則をAIにゼロから推論させるのではなく、定評あるCGの反射モデルを体積レンダリングの枠組みに制約として組み込んだことです。これにより、学習データの質が不揃いなウェブ画像でも、破綻の少ないテクスチャと陰影を維持できるようになりました。

一方で、既存の推定器に頼っている以上、入力写真の光環境が複雑すぎたりポーズ検出が狂ったりした場合の影響は避けられません。現時点では基礎研究の段階ですが、将来のXR体験やリアルタイムグラフィックスの資産生成を支える技術として注目に値します。