リアルタイム対話アバターAI「LPM 1.0」、1枚の画像から45分の自然な対話映像を生成

現在のAI音声対話は、まだどこか不自然さが拭えません。抽象的な波形アイコンに向かって話しかけるか、あるいは静止画の口元だけがぎこちなく動くアバターと向き合うかのどちらかです。しかも少し長く会話を続けると、顔のパーツが崩れて不気味の谷に落ちてしまうのが常でした。

そうした課題に一石を投じるのが、研究チームが発表したリアルタイム対話型アバターモデル「LPM 1.0」です。わずか1枚の顔写真と音声データを入力するだけで、ストリーミング形式で動画を生成し、最長45分間にわたって破綻することなく安定した対話アバターを動かし続けることができます。

単なる口パクを超えた「相づち」と「仕草」

従来のデジタルヒューマンの多くは、音声に合わせて唇を変形させる単純なリップシンクにとどまっていました。一方のLPM 1.0は、会話を「話す」「聞く」「沈黙・待機」という3つの状態に分類して処理します。

ユーザーが話している間、アバターは棒立ちになるのではなく、音声のニュアンスに合わせて小刻みに頷いたり、視線を泳がせたりして自然な相づちを打ちます。自分が話す番になると、言葉の詰まりや表情の移り変わりに加え、カメラに向かってハイタッチするように手を伸ばしたり、マイクの位置を直したりといった身体全体の微小な動作まで再現します。

これを支えているのが「マルチグラニュラリティ・アイデンティティ・コンディショニング」と呼ばれる仕組みです。正面の画像だけでなく、異なる角度や表情の参照データを同時に処理することで、笑顔の際の目元のシワや口を開けた時の歯の並びをAIが勝手に捏造することなく、整合性を保ったまま描き出します。写実的な人物写真だけでなく、アニメ調のイラストや3Dゲームのキャラクターモデルにも追加学習なしでそのまま適用可能です。

プロジェクトマネージャーのAiling Zeng氏によれば、ChatGPTやDoubaoなどの音声対話AIと直接連携させてリアルタイムビデオ通話を構築できるほか、録音済み音声からポッドキャスト風の対話動画をオフライン生成する用途にも耐えうるとのことです。

驚異的な完成度、それでも公開されない理由

ただし、一般ユーザーが今すぐこのツールを試せるわけではありません。開発チームは、LPM 1.0が純粋な研究プロジェクトであり、モデルの重みやソースコードの公開、さらには一般向けデモの提供予定もないことを明言しています。

生成された映像には依然として細かなノイズや歪みが残っており、実写映像と比較すると測定可能な品質の開きが存在することも認めています。また、デモ動画で使用されている人物の顔はすべてAIが合成した架空のものであり、実在の人物は含まれていません。

公開を見送る最大の要因はセキュリティリスクです。1枚の写真と音声さえあれば、遅延なく45分以上も会話を続けられる技術は、リアルタイム型ディープフェイクの悪用基盤になり得ます。実在の家族や上司を騙ったビデオ通話詐欺の参入障壁を一気に下げてしまう懸念があるため、チーム側も十分な安全対策と倫理的枠組みが確立されるまでは外部アクセスを認めない方針を貫いています。

なぜ重要か

LPM 1.0の最大の功績は、対話における「聞く姿勢」の重要性を技術として実体化させた点にあると私たちは考えます。

生身の人間同士のコミュニケーションでは、自分が話している最中に相手が見せる細かな視線の揺らぎや首の傾げ方こそが、安心感を生む土台になっています。従来のCGやアバターが機械的に見えていたのは、まさにこの待機時間の生体反応が欠落していたからです。写真1枚からストリーミングでその「空気感」を再現できることを示した意義は小さくありません。

ゲーム内のNPCやオンライン接客、パーソナルアシスタントの領域において、コストのかかるモーションキャプチャなしに自律的なキャラクターを動かせる可能性を切り拓いています。

一方で、この技術がもたらす影の部分も見過ごせません。微調整の学習期間すら必要とせず、即座に実時間で他人になりすませるポテンシャルを秘めている以上、安易なオープンソース化を避けた開発元の判断は極めて妥当です。業界全体が今後向き合うべきは、アバターの表現力を競い合うことだけでなく、リアルタイム対話映像の真偽をどう担保するかという防御インフラの構築になるはずです。