Twelve LabsがFrame.io V4と統合、動画の自然言語検索や自動タグ付けに対応

映像制作の現場で最も時間を奪われる作業の一つが、膨大なフッテージの中から「海岸線を捉えたドローン空撮」のような特定のカットを手作業でシークして探し出す作業です。

動画特化型AIを開発するTwelve Labsは11月20日、Adobe傘下のコラボレーションツール「Frame.io V4」に自社の動画理解基盤モデルを統合したと発表しました。

Frame.ioの「Custom Actions（カスタムアクション）」機能を活用し、動画を別ツールへ書き出すことなく、右クリック操作だけで高度な検索やメタデータ生成が可能になります。

自然言語検索と自動コンプライアンス判定を右クリックで実行

今回の統合には、Twelve Labsの2つのモデル「Marengo 2.7」と「Pegasus 1.2」が使われています。

Marengo 2.7は映像、音声、テキストをマルチモーダルなベクトル空間にマッピングするモデルです。これにより、曖昧な自然言語でのシーン検索や、静止画を参照画像として投入して似た構図のBロールを割り出す画像・動画間検索が実現します。

一方のPegasus 1.2は、映像の文脈を読み解く言語モデルです。単に映っている物体を検知するだけでなく、演出意図や感情のトーンまで汲み取り、Frame.ioのカスタムフィールドへ要約やタグを自動入力します。

さらに、ブランドガイドライン違反や規制に抵触する箇所をタイムコード付きで自動検出し、Frame.ioのコメント欄へ直接フィードバックを残す機能も備えています。

なぜ重要か

今回の連携は、動画AIを単体のWebサービスとして提供するのではなく、制作現場の標準基盤に入り込ませた点で極めて現実的だと考えます。

映像クリエイターにとって、容量の大きい動画ファイルを新しいツールに再アップロードする手間は大きなハードルでした。Frame.ioのUI上で右クリックするだけで完結する仕様は、業務フローの摩擦を最小限に抑えています。

特に過去のアーカイブ素材の再利用や、放送局や広告代理店が抱える大量素材のタグ付け作業において、現場の工数を劇的に減らす効果が期待できます。

一方で、動画の全フレームと音声をマルチモーダル解析してインデックス化するにはそれなりの計算コストやAPI利用料がかかります。テラバイト単位で素材を抱える制作スタジオが全素材に適用できるかどうかは、費用対効果の検証が必要になるはずです。

とはいえ、Frame.ioが単なるプレビュー共有ツールからインテリジェントな資産管理プラットフォームへ進化する道筋を示した意味は大きく、競合のレビューツールにも同様のAI組み込みを迫る動きになりそうです。