Twelve LabsがPegasus-1を発表：長尺動画から直接テキストを生成

動画をAIに理解させようとする際、多くの大手企業が採用しているのは、動画を数千枚の静止画に分解して画像モデルに流し込むか、音声だけを文字起こしするという力技のアプローチです。

この方法だと、1分未満のショート動画ならともかく、数十分から数時間に及ぶ動画では計算コストが跳ね上がり、映像の連続的な動きや音声との連動性といった文脈が抜け落ちてしまいます。

マルチモーダル動画理解を手がけるスタートアップのTwelve Labsは、この課題を根本から見直す基盤モデル「Pegasus-1」を発表しました。パラメータ数は約800億（80B）に達し、動画からテキストを生成する最新のVideo-to-Text機能を備えています。

画像の切り貼りをやめ、動画ネイティブで処理する

Twelve Labsが掲げるのは「ビデオファースト」のアプローチです。動画を単なる静止画の連続としてではなく、映像、音声、発話を統合された情報として直接扱います。

Pegasus-1の構造は、自社のMarengo埋め込みモデルから派生した動画エンコーダー、動画と言語のアライメントモデル、そしてテキスト出力を行う大規模言語モデル（LLM）デコーダーの3層で構成されています。各コンポーネントの具体的なパラメータ配分は公開されていません。

視覚と音響の情報を同時に処理することで、1回のAPI呼び出しで長尺動画の文脈を包括的に捉え、動画要約のベンチマークにおいて新たな最高水準を達成したとしています。

開発者向けには用途に応じた3種類のAPIが提供されます。

Gist APIはプロンプト入力なしで動作し、動画からタイトル、トピック、ハッシュタグなどを即座に生成します。

Summary APIも設定不要で、動画のチャプター分割、要約、ハイライトの抽出を自動化します。

より柔軟な出力を求める用途向けには、実験的なGenerate APIが用意されており、プロンプト次第で箇条書きのレポートから作詞まで、動画内容に基づいた多様な形式でテキストを生成できます。

なぜ重要か

大手各社が汎用的なマルチモーダルモデルを競い合う中で、動画に特化したネイティブ設計を貫くTwelve Labsの動きは理にかなっていると考えられます。これまでのモデルは映像内の無音の操作や細かい環境音を拾い落としがちでしたが、音と映像を一体で解釈できる恩恵は大きいです。

長尺動画の編集、アーカイブ検索、オンライン講義のインデックス作成などを手がける開発者にとって、自前で複雑な画像切り出しや音声認識パイプラインを組む必要がなくなる点は極めて魅力的です。開発工数を大幅に削れるツールとして、すぐに検証する価値があります。

一方で、モデル全体の規模が80Bと巨大であるため、実際の運用コストと応答速度がどの程度に収まるのかは気になるところです。長時間の動画を大量に処理する現場で、採算が合う価格帯を維持できるかが普及の鍵を握るでしょう。

とはいえ、静止画の抽出でお茶を濁す従来の動画認識手法が限界を迎えつつあるのは確かです。専門的な長尺動画の処理において、特化型モデルが存在感を強めていく流れを示しています。