OmniShotCut：動画のカットや各種トランジションを高精度検出、164MBの軽量モデル

動画のカット割り分析や再編集作業において、タイムラインを1フレームずつ送りながらカットの切れ目やトランジションの種類を探す作業は、クリエイターにとって大きな負担でした。

新たに登場したオープンソースの軽量AI「OmniShotCut」は、動画を入力するだけでカット位置を自動検出し、正確なタイムスタンプとともにリスト化してくれます。

単純なカットだけでなく多彩な場面転換を識別

動画のショット境界検出自体は古くから研究されてきましたが、従来のツールは単純なハードカットなら検出できても、ディゾルブやフェードのように映像が重なり合う場面転換では判定が乱れやすいという課題がありました。

OmniShotCutはハードカットに加え、ディゾルブ、フェードイン・フェードアウト、スライド、クロスズームといった複雑なトランジションまで高精度に見分けます。

論文によると、本モデルはShot-Queryに基づく高密度ビデオTransformerを採用し、ショット内の関係性とショット間の関係性を統合的に推定する構造化予測アプローチをとっています。

また、曖昧になりがちな手動アノテーションを排除するため、全自動の合成データ生成パイプラインを構築しました。250万本のウェブ動画をもとに、1100万以上のラベル付きトランジションを含む30万本の合成動画を作成して学習を行っており、独自の広域ベンチマークOmniShotCutBenchも整備されています。

特筆すべきはその軽さで、モデルサイズはわずか164MBに収まっています。ローカル環境で手軽に動かせるコードが公開されているほか、Hugging Face Space上ですぐに試せる無料デモも用意されています。

なぜ重要か

OmniShotCutは、現場の泥臭い課題に真正面から答えた非常にスマートなAI実装だと私たちは評価しています。

動画編集者や映像アナリストにとって、164MBという超軽量設計の恩恵は絶大です。高価なクラウドGPUを使ったり未公開の映像素材を外部サーバーに送信したりすることなく、手元の一般的なPCで完全にオフライン動作させることができます。

さらに、動画を扱うマルチモーダル基盤モデルの前処理ツールとしても重要な意味を持ちます。長尺動画をAIに入力する際、従来の単純な秒数分割ではシーンの途中で映像が寸断され、コンテキストの理解が狂う原因になっていました。高精度なショット分割がローカルで高速に走れば、動画データセットの質を一気に底上げできます。

やみくもにパラメータを巨大化させるのではなく、精巧な合成データと適切なアーキテクチャ設計によって実用性を極めるアプローチは、今後の特化型AI開発における優れた見本と言えます。