Google、Geminiに「エージェント型動画理解」導入　トークン消費88％削減・コスト66％減

AI に長尺動画を解析させようとすると、これまでは常に頭の痛い二者択一を迫られていました。精度を求めて 1 秒に 1 フレームずつ取り込めばトークン消費とコストが一瞬で跳ね上がり、節約のためにサンプリング間隔を広げれば肝心な瞬間を見落としてしまいます。

Google は 9 月 1 日、Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Lite の 3 モデルに向けて、エージェント型動画理解（agentic video understanding）の提供を開始しました。動画を最初から最後まで機械的に流し込むのではなく、モデル自身に必要な箇所を探させるアプローチです。

AI が自分で動画を早送り・巻き戻しする

従来の処理方式は、API のデフォルトである毎秒 1 フレームなどの固定レートで映像をまるごと読み込む静的なものでした。画面に大きな変化がない時間帯でも同じ量のトークンを消費するため、長時間の動画では非効率さが目立っていました。

今回のエージェント型アプローチでは、Gemini が目的に応じて能動的に動きます。映像フレーム、音声、文字起こしテキストのどれを手がかりにするかをモデル自ら判断し、必要な瞬間だけを取りに行きます。

気になるシーンを見つけると、エージェントループを通じて内部ツールを呼び出し、該当する時間枠だけを高フレームレートで再サンプリングして精査します。これにより、1 秒未満のわずかな変化を捉えるサブ秒精度の抽出や、急激な動きの異常検知が可能になります。

Google のベンチマークによると、この動的処理によってトークン消費量は最大 88 パーセント削減され、分析コストも最大 66 パーセント低下しました。それでいて精度は最大 7 パーセント向上しており、Gemini 3.7 Flash はコスト対精度のパレートフロンティアに位置づけられています。

追加料金なし、YouTube の視聴画面にも導入へ

この機能は、Google AI Studio の Gemini API および Gemini Enterprise Agent Platform で既に利用可能です。通常の動画アップロードに加えて YouTube の URL 指定にも対応しています。

使い方もシンプルで、開発者が自前の動画切り出しパイプラインを組む必要はなく、API の設定で処理モードを agentic に指定するだけです。特別な機能利用料はかからず、通常の Gemini トークン料金のみで課金されます。

さらに Google は、この機能を Gemini アプリの一般ユーザー向けにも順次解放し、今後数か月以内には YouTube 視聴ページの Ask YouTube 機能の基盤としても組み込む予定だと発表しています。

なぜ重要か

動画解析における最大のボトルネックだったコスト構造に対して、Google は非常に現実的な解決策を提示したと私たちは考えています。

監視カメラの映像確認や講義動画の要約、数時間に及ぶ作業ログの検索など、これまで長尺動画の AI 処理は莫大なトークン費用が壁になって実用化を見送られるケースが珍しくありませんでした。分析コストが最大 3 分の 1 にまで縮小すれば、PoC 止まりだった動画分析プロジェクトが一気に実運用へと進むはずです。

開発エコシステムへの影響も見逃せません。これまでエンジニアは、動画からフレームを間引いたり字幕から該当箇所をアタリづけしたりする前処理プログラムを独自に組んでいました。今回のアップデートは、そうした外側の泥臭い前処理パイプラインをモデル自身の内部ツールとして吸収してしまったことを意味します。

ただし、モデルの推論能力に依存するリスクも残ります。音声や字幕などの初期スキャンで手がかりを拾い損ねた場合、高解像度の映像再確認プロセス自体が発火しない懸念があります。クリティカルな欠陥検査などで使う場合は、従来の網羅的なサンプリングと比較検証しながら導入するのが賢明と言えそうです。