美団、対話対応の動画生成AI「LongCat-Video-Avatar 1.5」をオープンソース化

出前や生活サービスの巨人として知られる中国の美団（Meituan）ですが、そのAI開発チームはオープンソース分野で着実に存在感を高めています。今回公開された最新成果は、静止画から発話動画を作る技術を大きく前進させるものです。

美団はトーキングアバター生成モデル「LongCat-Video-Avatar 1.5」をオープンソース化しました。初期バージョンの公開からわずか数週間でのアップデートとなり、商用環境での実用性を強く意識した仕上がりになっています。使い方は極めてシンプルで、1枚の参照画像と音声ファイルを入力するだけで、自然に話すアバター動画が生成されます。

GitHubやHugging Faceでコードと重みが公開されており、ローカル環境で動かしやすい16GBのINT8量子化版も用意されています。

複数人の会話や「聞いている側の表情」まで忠実に再現

これまでのアバター動画生成では、早口や歌声で口の動きが破綻したり、複数人が映る場面で全員が一斉に口をパクパク動かしてしまう現象が課題でした。

LongCat 1.5では音声エンコーダを従来のWav2Vec2からWhisper-largeへと刷新しました。これにより多言語の音素や発話リズムを精緻に捉えられるようになり、唇の動きだけでなく、表情や頭部、首元の動きまで音声と自然に連動します。

さらに工夫されているのがデータセットの設計です。誰が話しているかを検出するデータに加え、あえて「話していない状態」の動画を学習させました。その結果、話者と聞き手を明確に区別し、聞き役のアバターは余計に口を動かさず、自然な視線や微細な表情を保ちます。手部の崩れを防ぐため、フレーム単位のGRPOによる強化学習も導入されており、実写だけでなくアニメや動物キャラクターにも対応可能です。

蒸留で8ステップ生成を実現、処理速度を約15倍に短縮

動画生成AIにおいて、どれほど品質が高くても推論コストがかさめば実務では使えません。美団は今回のバージョンで推論効率の改善に大きく踏み込みました。

DMD（Distribution Matching Distillation）と呼ばれる蒸留技術を導入し、通常50ステップほどかかる拡散生成プロセスをわずか8ステップに短縮しました。さらに、複数の大型モデルを同時に走らせる従来構成をやめ、1つの共通ベースモデルに複数のLoRAアダプタを組み合わせる設計に改めることで、VRAM消費も抑えています。

これにより推論効率は約15倍に跳ね上がり、10秒の動画を約1分で生成できるようになりました。公式の評価基盤EvalTalkerによるテストでは、Kling Avatar 2.0に対する勝率が65.9%、HeyGenに対する勝率が54.3%を記録し、コマ落ちの発生率も0.8%に抑えられています。

なぜ重要か

商用アバターサービスの多くが高額な月額課金で囲い込みを図る中、美団が商用レベルの基盤モデルをオープンソースとして丸ごと開放した意義は非常に大きいです。

個人開発者やコンテンツ制作者にとっては、高価な外部SaaSを契約することなく、ローカル環境で高品質な解説動画や対話シーンを量産できる環境が整いました。16GBのINT8モデルであれば、一般的な開発用マシンでも十分に検証が可能です。

業界全体にとっても、口パク動画生成の技術的ハードルが一段引き下げられたことを意味します。画像1枚からの高精度な生成、複数人での対話、そして8ステップの高速推論が無料で手に入るとなれば、既存の有料サービスは単なる動画出力以上の付加価値を示さなければ生き残れません。

ただし、10秒の動画に約1分かかる現状では、リアルタイムの双方向ライブ配信などに即座に投入できるわけではありません。当面の実用的な使い道は、ECの販促動画や定型的な解説コンテンツの自動生成といった、バッチ処理型の映像制作現場になるはずです。