ByteDanceと清華大がDreamID-Omni発表：画像と音声から複数人の対話動画を生成

AIによるアバター動画で最も興ざめする瞬間といえば、画面にいる人物Aが話しているはずなのに人物Bの口が動いたり、セリフと口の動きがちぐはぐになったりする現象だろう。

ByteDanceの知能創作実験室と清華大学の共同研究チームは、この課題を解決するマルチモーダル動画生成モデル「DreamID-Omni」を発表した。論文番号はarXiv:2602.12160v1。単一のポートレートを喋らせるだけでなく、同一画面での複雑な複数人対話に本格対応した。

複数人シーンで起きる「声と口元のズレ」を解消

従来のトーキングヘッド技術は単一人物に特化したものが多く、同一画面に複数のキャラクターが登場すると、誰がどの声で話しているのか特徴が混ざり合ってしまう課題が常に付きまとっていた。

DreamID-Omniはこの問題を解決するため、「二層分離」と呼ばれる独自構造を採用した。信号レベルでは同期回転位置エンコーディングを用いて時間軸上でキャラクターごとに専用スロットを割り当て、意味レベルでは構造化キャプションによって各キャラクターに一意のIDを紐付け、外見・声・セリフを厳密に管理する。

これにより、例えばアン・ハサウェイやウィル・スミスの顔写真とそれぞれの参照音声を読み込ませるだけで、各自の本人の声で違和感なく掛け合う複数人の対話シーンを生成できる。

白紙からの生成から既存動画の編集まで

DreamID-Omniの対応範囲はゼロからの動画生成にとどまらない。静止画1枚を音声で駆動させる機能に加え、既存の動画内の人物の顔と音声を別の人物に丸ごと差し替える動画編集機能も備えている。元の動きやタイミングを維持したまま、自然にキャストを交代させることが可能だ。

研究チームは、マスク再構成から異種ペアの分離学習、そして汎用微調整へと進む3段階の段階的学習手法を導入し、タスク間の柔軟な切り替えを実現した。

200件のテストケースからなる評価基準「IDBench-Omni」を用いた比較実験では、Wan2.6などの既存システムを上回り、リップシンク精度や同一性維持で最高水準を記録した。さらに、30名のプロ映像クリエイターによる評価でも、7項目すべてで最高評価を獲得したという。現在GitHubページが開設されており、3月中にv1のオープンソース公開が予定されている。

なぜ重要か

個人クリエイターや小規模な制作スタジオにとって、このツールの実用性は極めて高い。これまで複数人が登場する会話動画を制作するには、音声クローン、リップシンク、顔生成など複数のツールを組み合わせ、手作業でタイミングを調整する必要があった。DreamID-Omniが3月にオープンソース化されれば、静止画と音声素材を用意するだけで、本格的なドラマ仕立ての動画を手軽に制作できるようになる。

業界全体で見ても、要素技術を個別につぎはぎする時代から、音声と映像を統合したエンドツーエンドなモデルへと競争軸が移りつつあることを示している。IDベースで時間と意味を厳格に拘束するアプローチは、非常に理にかなった設計だと言える。

ただし、一般ユーザーが手元で動かす際のマシン負荷や、長尺動画を破綻なく生成できるかといった課題は依然として残る。また、既存動画の顔と声を容易にすり替えられる精度の高さは、ディープフェイクや倫理面のリスクにも直結するため、公開後の安全対策にも注目が集まりそうだ。