マイクロソフト、長尺動画を精査する「MMCTAgent」をオープンソース公開
マイクロソフト研究部門はAutoGenベースのマルチモーダル推論エージェント「MMCTAgent」を発表しました。一問一答ではなく、計画担当と検証担当の2つのエージェントが連携し、長尺動画の特定フレーム検索やツール呼び出しを反復検証します。MM-VetベンチマークではGPT-4Vの精度を大幅に向上させました。
マイクロソフト研究部門はAutoGenベースのマルチモーダル推論エージェント「MMCTAgent」を発表しました。一問一答ではなく、計画担当と検証担当の2つのエージェントが連携し、長尺動画の特定フレーム検索やツール呼び出しを反復検証します。MM-VetベンチマークではGPT-4Vの精度を大幅に向上させました。