音声と映像を一度に生成、一体型デジタルヒューマン「ID Laura」が公開

これまでリアルなデジタルヒューマン動画を作ろうとすると、その作業手順は非常に面倒でした。

まず音声クローンツールで声を作り、次に動画生成AIで人物の映像を起こし、最後にリップシンクツールで口元と音声を無理やり合わせるのが一般的でした。

こうした別々のツールを組み合わせるやり方では、口の動きが不自然になったり、話す抑揚と身体の動きが噛み合わなかったりして、どこか違和感が残りがちでした。

3月10日にオープンソース化された「ID Laura」（論文名：ID-LoRA）は、そうしたつぎはぎのワークフローを単一モデルで解決しようとする野心的なプロジェクトです。

映像と音声、環境音まで一度に生成する一体型設計

ID Lauraの最大の特徴は、映像と音声の生成を完全にひとつのモデル内で完結させている点にあります。

LTX 2.3（LTX-2）の音響・映像拡散バックボーンをベースに採用し、In-Context LoRAと呼ばれる軽量な適応手法を組み込みました。

使い方はいたってシンプルです。人物の写真1枚、数秒の参考音声、そして台詞とプロンプトを入力するだけで済みます。

モデルは人物の動画とクローンされた話し声を同時に生成し、口元の動きやジェスチャーも音に合わせて自然に揃えます。

さらに驚くべきは環境音の再現性です。「机を叩く」「木が倒れる」といった動作やシチュエーションをプロンプトに入れると、映像のアクションと同期した環境音がそのまま一緒に書き出されます。

工夫された位置設計とわずか3000組の学習データ

映像と音声を同時に拡散モデルで処理する場合、参照データと生成データの位置情報が衝突したり、生成が進むにつれて声の特徴が薄れてしまったりする難点がありました。

ID Lauraの開発陣は、負の時間位置を導入することでRoPE領域を分離し、参照データの時間構造を保ったまま混同を防ぐ工夫を施しました。

また、独自の「アイデンティティ・ガイダンス」を適用し、ノイズ除去の過程で話者の声質がぼやけてしまうのを防いでいます。

さらに興味深いのは、このモデルが単一のGPUとわずか約3000組のペアデータだけで学習されている点です。

人間の評価テストでは、大手商用モデルのKling 2.6 Proと比較して、73%が声の類似度で、65%が話し方の自然さでID Lauraを高く評価しました。異なる環境設定における話者再現性でも、Klingを24%上回っています。

ただし、手元のローカル環境で動かすには相応のマシンスペックが求められます。最低でも24GB、快適に動かすには48GBのVRAMが必要です。

なぜ重要か

私たちは、ID Lauraがデジタルヒューマン生成における「分業から統合へ」の流れを決定づけたと考えています。

動画クリエイターや個人開発者にとって、複数のツールを行き来していた作業が1プロンプトで完結する価値は絶大です。リップシンクのズレを直したり後から効果音を重ねたりする手間がごっそり削られます。

業界全体にとっても、商用動画モデルへの強力なカウンターになります。莫大な計算資源で動画だけを綺麗に作ってきた大手に対し、わずか数千件のデータで音と映像を物理的に同期させたID Lauraのアプローチは非常にクレバーです。

一方で、ローカル動作に最低24GBのVRAMを要求する点は一般ユーザーには高い壁です。まずはハイエンド環境を持つクリエイター向けのツールとなりますが、オープンソースのマルチモーダル統合がここまで実用域に入った意義は小さくありません。