OpenCV創業者によるCraftStory、最長5分の動画生成モデル「Model 2.0」を発表

現在のAI動画生成ツールは、見た目こそ派手なものの、せいぜい5秒から10秒程度のクリップが限界でした。OpenAIのSora 2でさえ上限は25秒にとどまり、実用的な解説動画や社内研修を作るには程遠い状態が続いています。

世界中で使われている画像処理ライブラリOpenCVの創設者たちが、この制限を打破すべく動き出しました。彼らが立ち上げた新興企業CraftStoryは火曜日、ステルスを解除し、人物を中心としたリアルな動画を最長5分間連続で生成できるModel 2.0を発表しました。

驚くべきは開発規模の小ささです。OpenAIが直近で60億ドル以上を調達する一方、CraftStoryの初期資金はわずか200万ドル。プロジェクト管理ツールWrikeの創設者であるAndrew Filev氏がその大半を出資しています。

並列拡散アーキテクチャで長尺の破綻を防ぐ

従来のモデルが動画を長くできない最大の理由は、時間軸に沿って前から順に生成していく点にありました。最初の数秒で指の形が崩れると、その歪みが後続のフレームに伝播し、次第に収集がつかなくなります。

CraftStoryの創設者兼CEOであるVictor Erukhimov氏は、並列拡散アーキテクチャという独自のアプローチを採用しました。5分間の動画全体に対して複数の小型拡散アルゴリズムを同時に走らせ、それらを双方向の制約で結びつけます。動画の後半部分が前半部分の整合性に影響を与え合えるため、歪みの連鎖を食い止めることができます。

学習データの集め方も異例です。一般的なWebスクレイピングに頼るのではなく、自社でスタジオを手配し、プロの俳優を高フレームレートカメラで撮影しました。毎秒30フレームの一般的な動画に見られるブレを排除したことで、指先のような高速で動く細かいディテールも鮮明に維持できるようになりました。

現在のModel 2.0は、静止画と動作の手本となるドライバー動画を組み合わせるVideo-to-Video方式で動作します。自前の動作動画をアップロードできるほか、プロの俳優が演じたプリセット素材も利用可能で、動作データが使われた俳優には収益が分配される仕組みです。音声と同期するリップシンク機能や、声のトーンに合わせた身振り調整も備えています。

ただし課題もあります。現時点では、低解像度の30秒動画を生成するだけでも約15分かかります。

なぜ重要か

同社の狙いは非常に実践的だと考えられます。世界中のあらゆる物理現象をシミュレートする万能路線を避け、社内トレーニングや製品デモといった、人間が喋り続ける長尺動画の需要に照準を絞ったからです。

ユーザーの視点で見ると、30秒に15分かかる現状では、日常的に試すツールとしてはまだ重すぎます。個人クリエイターが手軽に使うというよりは、決まったスクリプトの研修動画を自動化したい企業向けの実験的な導入が先行するはずです。

業界全体にとっては、巨大研究所が主導する計算資源至上主義への強力な反証になります。数千億円規模の資金を持つ競合に対し、高品質な独自データと巧妙な並列設計があれば、200万ドルの少人数チームでも生成時間で圧倒できることを示しました。大手各社も今後、動画の逐次生成モデルを見直し、同様の並列アプローチへと舵を切らざるを得なくなる可能性があります。