NVIDIA、感情表現が可能なデジタルヒューマン「James」などを発表

これまでのカスタマーサービス向けデジタルヒューマンといえば、視線が定まらず、口の動きも機械音声とずれた不気味なCGモデルが定番でした。

NVIDIAはこの状況を根本から変えようとしています。

SIGGRAPH 2024において、同社はデジタルヒューマン制作フレームワーク「NVIDIA ACE」とAIプラットフォーム「Maxine」の最新技術を披露しました。

冗談も言う案内役「James」と静止画から喋る新機能

展示で注目を集めたのが、バーチャルアンバサダーの「James」です。

JamesはNVIDIA NIMマイクロサービス上で構築され、RAGを活用して最新の技術情報を正確に回答します。ElevenLabsの音声とRTXレンダリングを組み合わせることで、ユーモアや感情を交えたリアルタイム対話が可能で、すでに ai.nvidia.com で一般公開されています。

遠隔プレゼンス向けのMaxineにも実用的なアップデートが入りました。

早期アクセス予定の「Maxine 3D」は、通常の2Dビデオ映像からリアルタイムで3Dアバターを生成し、Web会議などに組み込めます。

すでにプレビュー提供中の「Audio2Face-2D」は、たった1枚の静止画ポートレートに音声を入力するだけで、口唇の同期した自然な発話映像を生成します。

ノートPC単体で動作、客船では6カ国語コンシェルジュに

パートナー企業による実運用の展示も進んでいます。

デジタルヒューマン開発のUneeQは、RTX GPUを搭載した単一のノートPC上で、Gemma 7B LLMとRAG、Audio2Face-3Dを同時に動かすデモを披露しました。Webカメラを通じてユーザーの表情や動きを読み取り、アバターの反応を変化させます。

空間ディスプレイのLooking Glassは、普通のカメラとMaxine 3Dを組み合わせて、16インチおよび32インチのディスプレイにリアルタイムな立体顔映像を投影しました。

コスタ・クルーズの客船向けには、Reply社が6カ国語対応のデジタル案内人「Futura」を開発。GPT-4o、Hume AIの感情認識、Unreal Engine 5.4.3を組み合わせ、寄港地の観光案内や予約を支援します。

なぜ重要か

リアルタイムな3Dデジタルヒューマンの構築は、これまで膨大な予算と専門チームが必要な領域でした。音声認識、言語モデル、音声合成、リップシンク、物理レンダリングを低遅延で結合するのは技術的に極めて困難だったからです。

NVIDIAはこれらの難所を「NIM」というマイクロサービスに分解し、開発者が既存のLLMに数行のAPI連携で高品質な顔を与えられるようにしました。

特にUneeQのデモが示したように、クラウドサーバーを使わず手元のRTXノートPC単体で表情認識から発話生成まで完結できるようになった点は、店舗端末や受付キオスクへの導入ハードルを一気に下げます。

ただし、見た目が人間らしくなればなるほど、モデルの回答ミスや不自然な受け答えに対するユーザーの失望感は大きくなります。企業側は見た目の派手さに飛びつく前に、実務として正しい案内ができるデータ基盤を整えることが先決だと考えられます。