Tavus、高精度なゼロショット口唇同期モデル「Hummingbird-0」をfalで公開

動画の吹き替えで最も違和感を生みやすいのが、音声と口の動きのズレです。

Tavus は AI プラットフォーム FAL 上で、新たなリップシンクモデル「Hummingbird-0」の研究プレビュー版を公開しました。

ゼロショットで高精度な口形同期を目指す

Tavus によると、Hummingbird-0 はオープンソースおよび商用モデルを含め、同社がテストした中で最も精度の高いゼロショット・リップシンクモデルだとしています。

ゼロショットとは、対象人物の映像を事前に追加学習させることなく、音声と映像を入力するだけで口の動きを正確に同期させられる仕組みを指します。

なぜ重要か

動画の多言語ローカライズやデジタルヒューマンの制作現場において、口元の自然さはクオリティを左右する最大の壁でした。

もし追加学習なしで既存の商用モデルを上回る精度が出せるなら、動画吹き替えの制作コストと納期は大幅に圧縮されます。FAL 上で研究プレビューとして提供することで、開発者コミュニティによる実践的なフィードバックを迅速に集める狙いがあると考えられます。

ただし、現時点では具体的なベンチマークスコアや処理遅延に関する詳細な数値は公表されていません。横顔や激しい表情変化、異なる言語の発音に対してどこまで破綻せずに追従できるかは、今後の検証を見極める必要があります。