アリババが「EMO」発表：1枚の静止画と音声から表現力豊かな歌唱・対話動画を生成

静止画を喋らせる既存の AI アバターは、口元だけが不自然に動き、表情や視線が固まったままになりがちでした。

研究チームは 2 月 28 日、音声駆動型の肖像動画生成フレームワーク「EMO」（Emote Portrait Alive）を公開しました。

用意するのは人物の静止画 1 枚と音声ファイルだけです。歌や会話の音声を入力するだけで、豊かな表情と自然な頭部動作を伴う動画を、音声の長さに合わせて生成できます。

3D メッシュを介さず、拡散モデルで直接表情を作る

従来の手法では、3D の顔形状や骨格ランドマークを中継することが多く、微妙なニュアンスが失われて不自然な動きになりがちでした。

EMO は拡散モデルをベースにした 2 段階のパイプラインを採用しています。

まず「ReferenceNet」と呼ばれるモジュールが元画像から特徴量を抽出します。

続いて拡散プロセスにおいて、事前学習済みの音声エンコーダが音響特徴を取り出します。ノイズと顔領域マスクを組み合わせた上で、バックボーンネットワークがノイズ除去を行います。

このネットワーク内には 2 つのアテンション機構が組み込まれています。Reference-Attention が人物の同一性を保持し、Audio-Attention が音声の抑揚に合わせて表情や頭部の傾きを制御します。さらに時間モジュールによって動きの滑らかさを保ちます。

デモでは、アップテンポなラップの歌詞にも正確に口の形が追従し、声のトーン変化に合わせて視線や眉の動きが連動する様子が示されています。

入力画像は実写写真だけでなく、昔の肖像画や油絵、3D キャラクター、Sora などで生成された AI 画像にも対応しています。

なぜ重要か

EMO は、これまでの「AI トーキングヘッドはぎこちない」という常識を覆す技術だと私たちは考えます。中間表現としての 3D モデルを挟まず、音声から直接拡散モデルで描画することで、感情のこもった演技に近い表現力を実現しました。

クリエイターやゲーム開発者にとっては、キャラクターの静止画 1 枚と音声データを用意するだけで、高コストなモーションキャプチャなしに会話シーンや歌唱シーンを量産できるようになります。

一方で、悪用のハードルが大幅に下がった点は見過ごせません。写真 1 枚と合成音声さえあれば、誰でも本人が話しているかのような高精度なディープフェイク動画を作れてしまうためです。

音声そのものを高次元の制御信号として活用するこのアプローチは、既存のデジタルヒューマン関連企業にパラダイムシフトを迫ることになると見られます。