ByteDanceら、EC特化の動画生成AI「OmniShow」発表　画像・音声・骨格から10秒の販促動画を生成

EC向けの販促動画やショート動画を作る際、これまでのAI動画生成ツールでは大きな壁がありました。生成されたアバターに商品を持たせようとすると、指が崩れたり、商品のパッケージが歪んだりしてしまう問題です。

ByteDanceや香港中文大学などの研究チームは4月13日、人と物のインタラクションに特化した動画生成モデル「OmniShow」を発表しました。マーケティングやUGC制作の自動化を強く意識した実践的な設計が特徴です。

画像・音声・骨格をまとめて制御する全モダリティ対応

従来の動画生成モデルは、テキストや単一の画像から全体を動かすものが主流で、商品の外観を保ちながら指定した動作や発話を同時にこなすのは困難でした。OmniShowは、画像、音声、骨格姿勢、テキストという全モダリティの入力に単一のフレームワークで対応します。

利用者は、人物の顔写真と商品の静止画を同時にアップロードし、さらに話させたい音声とポーズ骨格動画を与えるだけで、狙い通りのシーンを組み立てられます。タスクはR2VからRAP2Vまで幅広くカバーしています。

デモでは、プロテインの袋や化粧品、ヘアアイロンなどを仮想キャラクターが手に持ち、自然に説明する様子が確認できます。競合モデルと比べて商品の形状やロゴの一貫性が崩れにくく、指先による持ち上げ動作や音声に合わせたリップシンクも高精度に再現されています。最長で10秒間の連続したワンカット動画を直接生成できる点も強みです。

論文によると、画像と骨格を効率よく注入する「Unified Channel-wise Conditioning」と、音と映像の同期を担保する「Gated Local-Context Attention」を導入し、異種データ不足を補う二段階の学習手法を採用したとのことです。また、この領域の評価基準として「HOIVG-Bench」も新たに策定されました。

現在GitHub上にリポジトリが開設されていますが、コードは内部審査中と表示されており、公開に向けた準備が進められています。

なぜ重要か

中小のEC事業者やインフルエンサーにとって、この仕組みは販促コンテンツの量産プロセスを根底から変える可能性があります。スタジオを手配して撮り直す手間を省き、商品写真と音声スクリプトだけで、説得力のある動画を短時間で仕立てられるようになるからです。

業界全体を見ても、ByteDanceのアプローチは極めて実利主義的です。多くの動画AIが汎用的な物理世界のシミュレーションを競う中、同社は自身の収益源であるショート動画とコマースの接点にリソースを集中させています。商品が崩れないという一点を突破するだけでも、商業的な価値は絶大です。

多条件を破綻させずに調和させた設計は見事ですが、10秒という尺は長尺のレビュー動画にはまだ足りず、実務では複数カットの組み合わせが前提になるでしょう。また、リアルな宣伝動画が容易に量産できるようになれば、ステマ規制やプラットフォームの信頼性維持が新たな課題として浮上しそうです。