微软开源 MMCTAgent：用双智能体啃动长视频和海量图库

MMCTAgent 是微软基于开源多智能体框架 AutoGen 打造的推理系统，专门帮大模型啃数十分钟乃至数小时的长视频，以及海量图像库。

大模型看单张图或几秒钟短视频现在很拿手，但要是把一部超长视频或者成千上万张图片丢给它，受限于上下文窗口，单次推理往往抓不住重点，还容易胡说八道。MMCTAgent 不搞一问一答的单次生成，而是拆分成规划者与审判者两个角色，用类似人脑批判性思维的循环来解决问题。

它是怎么跑起来的

整个系统由 Planner 和 Critic 两个智能体协同驱动。Planner 负责把复杂问题拆解，挑选合适的工具调取视觉信息并写出初步答案；Critic 负责挑刺，审查推理链条、校验事实证据，如果不一致就打回重改。

针对不同格式，框架内置了 ImageAgent 和 VideoAgent。处理长视频时，流程分为两步。第一步是数据入库，系统先将音频转录并翻译成统一语言，抽取出画面剧烈变化的关键帧，再结合摘要切分成带语义的章节，连同检测到的物体和屏幕文本一起生成多模态向量，存入 Azure AI Search。

第二步是问答推理。当用户抛出一个问题，Planner 会调用视频分析工具锁定相关片段，找出最相关的关键帧细读，随后交由 Critic 工具核对时间线与事实一致性，确保给出的结论有据可查。

处理静态图片时也是类似逻辑。ImageAgent 配备了 Vision Transformer、目标检测和 OCR 识别等感知工具，配合 Critic 进行结果校验。框架设计得相当模块化，开发者可以随时插拔自己的工业质检或医疗图像分析模块。

实测表现与开源情况

从实测数据来看，这套工具调用加自我反思的机制，对底模性能提升非常明显。

在 MM-Vet 测试中，给老一些的 GPT-4V 加上 MMCTAgent 框架后，得分直接从 60.20% 飙升至 74.24%；GPT-4o 从 77.98% 提升到 79.36%；GPT-5 也从 80.51% 涨到了 81.65%。在 MMMU 专家级多学科评测中，GPT-4o 依靠这套框架从 69.10% 提高到 73.00%。针对长视频分析的 VideoMME 基准上，GPT-4o 搭配 MMCTAgent 也从 72.10% 提升到了 76.70%。

MMCTAgent 目前已经在 GitHub 开源，并在 Azure AI Foundry Labs 上线，支持开发者直接调用和本地扩展。

为什么重要

如果你的业务场景涉及长监控回溯、长视频剪辑检索、跨图库实体追踪，或者正在被通用大模型的幻觉困扰，这个项目很值得拿来跑一跑。它给行业指了一条很务实的路：与其硬等天价的长上下文多模态底模，不如用成熟的多智能体架构配合传统检索和机器视觉小模型，把推理成本压下来，同时把准确率提上去。

不过也需要说清楚，MMCTAgent 并不是开箱即用的轻量级单文件脚本。它的视频理解能力高度依赖前期的切片入库和 Azure AI Search 索引，这意味着你得先搭建好一整套数据预处理和搜索管线，工程门槛并不算低。