画像2枚からリアルな商品紹介動画を生成する「CoInteract」が登場

SNSでよく見かけるインフルエンサー風の商品紹介動画は、これまでサンプル発送や撮影機材の用意、撮り直しなど多くの手間がかかっていました。動画生成AIを使えば手軽になるはずですが、既存モデルは物を「手で持つ」動作が極端に苦手で、指が増えたり、手が商品を突き抜けたりする破綻が頻発していました。

研究チームが発表した「CoInteract」（技術コミュニティではCo-InActとも呼ばれる）は、まさにこの物理的な破綻を解決するための新しい動画生成フレームワークです。用意するのは人物の写真1枚と商品の写真1枚の計2枚だけ。テキストプロンプトや音声を添えるだけで、その人物が商品を自然に手にとって紹介するリアルな動画を生成できます。

手の崩壊と「すり抜け」を防ぐ2つの仕組み

AI動画で人物と物体の接触（HOI）を描く際、課題となるのは手や顔の構造崩れと、物体との不自然な接触でした。CoInteractは、Diffusion Transformer（DiT）をベースに2つの工夫を組み込んでいます。

1つ目は、空間監視型の「人体認識Mixture-of-Experts（MoE）」です。繊細な表現が求められる顔や手のトークンを、領域特化型の軽量エキスパートに割り振ることで、計算コストを抑えながら崩れを防ぎます。

2つ目の革新が「空間構造コ・ジェネレーション（Spatially-Structured Co-Generation）」と呼ばれるデュアルストリーム構造です。見た目のピクセルを処理するRGBストリームと、人物と物体の位置関係や接触構造を司る補助ストリームを同時に学習させます。

学習時には構造ストリームが接触の物理ルールをモデル全体に叩き込み、実際に動画を出力する推論時にはこの補助ストリームを切り離します。これにより、追加の計算負荷を一切かけずに、物が手にめり込まない自然な動画を書き出せます。プロンプトで手順を細かく指示すれば、順序通りの紹介アクションを再現することも可能です。

なぜ重要か

EC事業者やマーケターにとって、この技術の実用化はコンテンツ制作コストの劇的な引き下げを意味します。インフルエンサーにサンプルを送って動画を依頼する代わりに、白抜きの商品画像と人物写真さえあれば、多種多様な紹介動画を数分で大量生成できるようになるからです。

私たちは、この進化が特に小規模なレビュー系インフルエンサーにとって大きな脅威になると考えています。肖像の利用許諾と商品写真だけで説得力のある紹介動画が作れるなら、撮影を依頼する必然性が薄れるからです。

技術的なアプローチとしても、CoInteractの設計は非常にスマートです。超巨大モデルに物理法則を力任せに学習させるのではなく、補助ストリームで学習時だけ制約を与え、推論時には余計なオーバーヘッドを残さないという現実的な最適化を選んでいます。現時点では論文発表の段階ですが、主要な商用動画生成ツールがこの手法を取り入れる日はそう遠くないはずです。