微軟開源 MMCTAgent：用雙智慧體啃動長影片和海量相簿

MMCTAgent 是微軟基於開源多智慧體框架 AutoGen 打造的推理系統，專門幫大模型啃數十分鐘乃至數小時的長影片，以及海量影像庫。

大模型看單張圖或幾秒鐘短影片現在很拿手，但要是把一部超長影片或者成千上萬張圖片丟給它，受限於上下文視窗，單次推理往往抓不住重點，還容易胡說八道。MMCTAgent 不搞一問一答的單次生成，而是拆分成規劃者與審判者兩個角色，用類似人腦批判性思維的迴圈來解決問題。

它是怎麼跑起來的

整個系統由 Planner 和 Critic 兩個智慧體協同驅動。Planner 負責把複雜問題拆解，挑選合適的工具調取視覺資訊並寫出初步答案；Critic 負責挑刺，審查推理鏈條、校驗事實證據，如果不一致就打回重改。

針對不同格式，框架內建了 ImageAgent 和 VideoAgent。處理長影片時，流程分為兩步。第一步是資料入庫，系統先將音訊轉錄並翻譯成統一語言，抽取出畫面劇烈變化的關鍵幀，再結合摘要切分成帶語義的章節，連同檢測到的物體和螢幕文本一起生成多模態向量，存入 Azure AI Search。

第二步是問答推理。當用戶丟擲一個問題，Planner 會呼叫影片分析工具鎖定相關片段，找出最相關的關鍵幀細讀，隨後交由 Critic 工具核對時間線與事實一致性，確保給出的結論有據可查。

處理靜態圖片時也是類似邏輯。ImageAgent 配備了 Vision Transformer、目標檢測和 OCR 識別等感知工具，配合 Critic 進行結果校驗。框架設計得相當模組化，開發者可以隨時插拔自己的工業質檢或醫療影像分析模組。

實測表現與開源情況

從實測資料來看，這套工具呼叫加自我反思的機制，對底模效能提升非常明顯。

在 MM-Vet 測試中，給老一些的 GPT-4V 加上 MMCTAgent 框架後，得分直接從 60.20% 飆升至 74.24%；GPT-4o 從 77.98% 提升到 79.36%；GPT-5 也從 80.51% 漲到了 81.65%。在 MMMU 專家級多學科評測中，GPT-4o 依靠這套框架從 69.10% 提高到 73.00%。針對長影片分析的 VideoMME 基準上，GPT-4o 搭配 MMCTAgent 也從 72.10% 提升到了 76.70%。

MMCTAgent 目前已經在 GitHub 開源，並在 Azure AI Foundry Labs 上線，支援開發者直接呼叫和本地擴充套件。

為什麼重要

如果你的業務場景涉及長監控回溯、長影片剪輯檢索、跨相簿實體追蹤，或者正在被通用大模型的幻覺困擾，這個專案很值得拿來跑一跑。它給行業指了一條很務實的路：與其硬等天價的長上下文多模態底模，不如用成熟的多智慧體架構配合傳統檢索和機器視覺小模型，把推理成本壓下來，同時把準確率提上去。

不過也需要說清楚，MMCTAgent 並不是開箱即用的輕量級單檔案指令碼。它的影片理解能力高度依賴前期的切片入庫和 Azure AI Search 索引，這意味著你得先搭建好一整套資料預處理和搜尋管線，工程門檻並不算低。