Nvidiaが「D-Rex」発表：豊かな表情の全身アバターを自由自在に再ライティング

バーチャルプロダクションの世界で最も難しいのは、人物の切り抜きではなくライティングの整合性です。背景を夕景に変えても、人物にスタジオの白い蛍光灯の光が当たっていれば、一瞬で合成感が出てしまいます。

Nvidiaは全身デジタルヒューマン向けの新フレームワーク「D-Rex」（Diffusion Rendering for Relightable Expressive Avatars）を発表しました。表情の豊かさを一切損なうことなく、自由な光源とアングルに適応できるアバター生成技術です。

演技と照明を完全に切り離す

従来の再ライティング対応アバターは、3D空間で反射率や幾何構造、材質、陰影を物理的に分解・推定するアプローチが主流でした。

しかし、照明計算とアバターの3Dモデリングを一体化させると計算が破綻しやすく、特に細かな表情アニメーションの再現が極めて困難になる弱点がありました。結果として、ゲームやバーチャル制作で表情が固くなってしまうのが通例でした。

D-Rexはこの問題を、再ライティングを3D空間ではなく「画像空間のポストプロセス」として扱うことで解決しました。

まず第1段階として、均一な白色光の環境下で豊かな表情と動きを持つ全身アバターを学習させます。この段階では陰影を気にせず、骨格の動き、姿勢、微妙な表情の変化だけを正確に出力させます。

拡散モデルが仮想の照明技師になる

フラットな映像が完成したところで、動画拡散モデルの出番となります。

ライトステージで収録したフラット照明と再ライティング済みのペアデータを用い、LoRAによって事前学習済み動画拡散モデルを微調整。このモデルが、フラットなアバター映像を目標となるHDR照明環境に合わせた映像へと変換します。

拡散モデルが持つ生成能力によって、肌の質感やハイライト、衣服の影などが自然に再現され、視点変更や時間的なフレームの連続性も保たれます。

さらに、ベースとなるアバターは一般的な白光下で学習されていればよいため、D-Rexは既存のさまざまな白光アバターシステムにそのまま適用できる柔軟性を備えています。

なぜ重要か

これまでデジタルヒューマンの開発は、制御性に優れるが質感で劣る3D物理パイプラインと、リアルだが制御が難しい生成AIパイプラインの間で引き裂かれてきました。

D-Rexの優れた点は、アバターの骨格や視点、細かな表情の制御を3Dに任せ、最も再現が難しい光と影の質感を拡散モデルに委ねた点にあります。この「構造は3D、質感は2D拡散モデル」というハイブリッドな役割分担は、今後のバーチャル撮影やゲーム制作の標準的なパイプラインになる可能性があります。

クリエイターにとっては、複雑な物理ベースの反射計算に悩まされることなく、生き生きとした表情のアバターをあらゆるシーン光に馴染ませられる道が開けます。

ただし、現時点でNvidiaが公開したのは論文とプロジェクトページにとどまり、即座に使える商用ツールや重みが提供されているわけではありません。拡散モデル特有の微小なチラつきが激しいアクション時にどう現れるかなど、実制作での検証課題はまだ残されています。