マイクロソフト、長尺動画を精査する「MMCTAgent」をオープンソース公開

マイクロソフトが公開した「MMCTAgent」は、長尺動画や膨大な画像ライブラリをAIで論理的に読み解くためのオープンソース推論フレームワークです。同社のマルチエージェント基盤「AutoGen」上に構築されており、単一のモデルによる一問一答では対応が難しかった複雑なマルチモーダルタスクを処理できます。

通常のマルチモーダルモデルは、数秒のクリップや単一の画像認識には優れていますが、数時間におよぶ長尺動画では文脈を見失いがちです。MMCTAgent は一発で回答を生成させるのをやめ、計画役と批評役が対話しながら検証を重ねる設計を採用しました。

仕組み：PlannerとCriticの協調

動作の中心となるのは「Planner」と「Critic」という2つのエージェントです。Planner はユーザーの質問を細分化し、必要なツールを選択して情報を集め、暫定的な回答を作成します。一方の Critic は、集まった証拠と推論過程の整合性を検証し、矛盾があれば修正を指示します。

長尺動画を扱う「VideoAgent」では、事前処理と質問応答の2段階で動作します。前処理段階では音声の文字起こしと翻訳を行い、場面転換からキーフレームを抽出、画面内の物体やテキスト情報を抽出して意味単位のチャプターに整理します。これらのデータは Azure AI Search を使って検索可能な知識ベースとしてインデックス化されます。

質問応答時には、Planner が専用ツールを使って該当するチャプターやフレームを特定して詳細を読み解き、Critic が時系列の矛盾や事実関係の誤りを精査します。静止画向けの「ImageAgent」も同様に、OCRや物体検出などのツールを組み合わせた推論ループを実行します。

評価結果と入手先

ツールの補強と自己検証ループの導入により、ベースモデルの精度は明確に底上げされています。

画像評価ベンチマーク「MM-Vet」では、旧世代の GPT-4V に MMCTAgent を適用したところ、精度が 60.20% から 74.24% へと大きく跳ね上がりました。GPT-4o でも 77.98% から 79.36% へ、GPT-5 では 80.51% から 81.65% へ向上しています。専門領域を問う MMMU では GPT-4o が 69.10% から 73.00% に伸び、動画評価ベンチマークの VideoMME でも GPT-4o のスコアが 72.10% から 76.70% に改善しました。

コードは現在 GitHub に公開されており、Azure AI Foundry Labs にも展開されています。独自の検査モデルなどを組み込めるモジュール構造になっています。

なぜ重要か

動画アーカイブの検索、製造業の点検ログ解析、監視映像の追跡など、長尺メディアを相手にする開発者にとって有力な選択肢です。超巨大なコンテキスト窓を持つフロンティアモデルを力任せに使うのではなく、エージェントによる探索と反省ループで精度を担保する現実的なアプローチを示しています。

ただし、手軽に導入できるラッパーではありません。動画の分割、埋め込み、検索インデックスの整備といった前処理パイプラインの構築が前提となるため、運用には一定のインフラ投資とエンジニアリングの手間がかかります。