Googleが「VLOGGER」発表：写真1枚と音声から身振り手振り付きの動画を自動生成

静止画から人物を喋らせる技術はこれまでにもありましたが、顔だけが不自然に動いたり、首から下が完全に静止していたりと、違和感がぬぐえませんでした。

Google Researchの研究チームは、1枚の写真と音声データだけから、表情だけでなく頭の揺れや身振り手振りまで自然に再現した動画を生成するAIシステム「VLOGGER」を発表しました。

1枚の写真と音声から身振り手振りを自動生成

研究チームが公開した論文「VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis」によると、この技術には画像生成で高い実績をあげている拡散モデルが動画向けに拡張されて使われています。

大きな鍵となったのが、チームが独自に構築した大規模データセット「MENTOR」です。80万人以上の多様な人物、計2200時間におよぶ動画で構成されており、従来の類似データセットと比べて桁違いの規模を誇ります。

この膨大なデータのおかげで、年齢や人種、服装、姿勢が異なる被験者であっても、個別に追加学習を施すことなく高品質な動画を生成できるといいます。

顔の切り抜き不要、上半身まで丸ごと描く新手法

従来の技術は、顔を検出して切り抜き、唇の周りだけを合成して元の画像に貼り戻すアプローチが主流でした。

対してVLOGGERは、顔のトリミングを行わず、上半身や手振りを含む画像全体を丸ごと直接生成します。そのため、話す際の手の動きや胸の動きといった、人間の自然なコミュニケーション動作がそのまま反映されます。

写真からの動画化だけでなく、音声トラックを差し替えるだけで多言語の吹き替え動画を作ったり、欠落したフレームを自然に補完したりする用途にも活用できます。

ただし現時点では動画が短尺にとどまり、背景は基本的に静止したままで、3D空間内を歩き回ることはできません。凝視すると生成特有のノイズも確認できます。

なぜ重要か

アバター動画の制作コストを極限まで押し下げる可能性がある点が、まず大きなポイントです。これまで専用の3Dモデルや事前収録が必要だった領域が、写真1枚と録音だけで成立することになります。

教育コンテンツの作成やプレゼンテーション、低帯域ネットワークでのビデオ通話、さらにはゲーム内のNPCとの自然な対話など、幅広い分野で実用的な価値を生み出すはずです。

一方で、技術のハードルが下がったことで、ディープフェイクへの悪用リスクは一段と高まります。SNSのアイコン画像1枚と短い音声さえあれば、あたかも本人が話しているかのような身振り付きの映像が作れてしまうためです。

表現力が向上し人間らしさが増すほど、本物と偽物の見分けは難しくなります。実用化に向けた期待と同時に、なりすまし防止技術の整備が急務になると私たちは考えます。