Synthesis AI、テキストから高品質な3Dデジタルヒューマンを生成する技術を発表

ゲームや映画のVFX制作において、リアルな3Dデジタルヒューマンを作る作業は極めて高コストでした。何台ものカメラを並べたフォトグラメトリ装置を用意し、人間のモデルを手配して撮影許可を取り、手作業でメッシュやテクスチャを整える必要があり、1体作るだけでも数週間の時間と数千ドルの費用がかかっていました。

サンフランシスコを拠点とする合成データ企業Synthesis AIは、このプロセスを大幅に効率化する新技術を発表しました。同社のオンラインプラットフォーム「synthesis labs」において、テキストプロンプトを入力するだけで映画品質の高解像度3Dデジタルヒューマンを生成できる「text-to-3D」機能を披露しています。

メッシュとテクスチャを分離する工夫

使い方はシンプルで、年齢、性別、人種、髪型、服装などをプロンプトで入力するだけで、条件に沿った3Dモデルが生成されます。生成後もプロンプトの書き換えに加え、画面上のスライダーを使って表情やライティングを直感的に調整可能です。

技術面では、3Dモデル特有の複雑さを解消するために生成プロセスを分離しています。同社は拡散モデルをベースとした独自アーキテクチャにより、性別や年齢などのパラメータに沿った3Dメッシュを生成。表面のテクスチャ層は別の生成モデルで独立して作成し、最後に両者を統合して高解像度なモデルを構築しています。

CEO兼創設者のYashar Behzadi氏は、この手法により従来のスキャン作業と比べて数桁早く、安価にアセットを生成でき、モデルごとに数週間と数千ドルの削減につながると語っています。同社はこれまでにも人間合成データに特化した「synthesis humans」や「synthesis scenarios」を提供してきました。

Behzadi氏は、検索エンジンを使える人なら誰でも扱える使いやすさとしつつも、初期の主要ユーザーはゲームやVFXのテクニカルアーティストや、機械学習の専門知識を持たずにシミュレーション環境を構築したい製造分野の担当者になると見込んでいます。

なぜ重要か

この技術の大きな価値は、従来スタジオ規模の設備が必要だった高品質なキャラクター制作を、プロンプトとスライダーの操作にまで引き下げた点にあります。インディーゲーム開発者やシミュレーション用途のチームにとって、アセット制作のハードルが劇的に下がります。

ジオメトリ（メッシュ）とテクスチャの生成をあえて別々のモデルで処理したアプローチは、非常に理にかなっていると評価できます。単一モデルによる3D生成はディテールが崩れやすいという弱点がありますが、分離処理によって映画やゲームのパイプラインに耐えうる解像度を確保しやすくなります。

さらに重要なのは、単なるCGアセット制作にとどまらず、AI学習用の「合成データ」としての役割です。肖像権やプライバシーの問題を回避しつつ、完璧なラベル付きの多様な人物データを短時間で大量に用意できるため、自動運転の車内センシングや仮想試着（VTON）、ロボティクスシミュレーションの進化を後押しする可能性を秘めています。