MS, 장편 영상·대규모 이미지 추론 에이전트 'MMCTAgent' 오픈소스 공개

마이크로소프트가 공개한 MMCTAgent는 수십 분에서 수 시간 분량의 장편 비디오와 대규모 이미지 아카이브를 분석하기 위한 오픈소스 멀티모달 추론 프레임워크입니다. MS의 멀티 에이전트 시스템인 AutoGen을 기반으로 구축되었습니다.

기존 멀티모달 모델은 짧은 영상이나 단일 이미지를 잘 묘사하지만, 방대한 분량의 시각 데이터를 한 번의 추론으로 처리하려다 세부 정보를 놓치거나 환각을 일으키기 쉽습니다. MMCTAgent는 일회성 답변 대신 기획자와 비평가 구조를 적용해 단계적으로 검증하는 방식을 택했습니다.

작동 원리: 플래너와 크리틱의 협업

핵심 구동 축은 Planner와 Critic 두 에이전트입니다. Planner는 사용자의 질문을 쪼개고 적절한 시각 도구를 호출해 증거를 수집한 뒤 초안을 작성합니다. Critic은 추론 과정과 증거의 일치 여부를 검토하고, 사실과 맞지 않거나 논리가 어긋나면 다시 다듬도록 요구합니다.

장편 비디오를 다루는 VideoAgent는 데이터 인제스천과 질의응답 2단계로 나뉩니다. 먼저 비디오의 음성을 전사 및 번역하고, 주요 장면 전환에서 키프레임을 추출하며, 화면 내 객체와 텍스트를 인식해 챕터 단위로 분할합니다. 이 정보들은 Azure AI Search에 임베딩되어 지식베이스로 구축됩니다.

질의응답이 시작되면 Planner는 색인된 데이터에서 가장 관련성 높은 챕터와 프레임을 찾아 심층 분석하고, Critic 도구가 시간 순서와 사실 관계의 일관성을 검증합니다. 정적 이미지를 다루는 ImageAgent 역시 OCR, 객체 탐지, ViT 도구를 조합해 동일한 루프로 작동합니다.

벤치마크 성과 및 오픈소스 공개

도구 연계와 비판적 사고 루프는 기본 모델의 한계를 크게 메워줍니다.

이미지 벤치마크인 MM-Vet에서 GPT-4V에 MMCTAgent를 적용한 결과 정확도가 60.20%에서 74.24%로 급등했습니다. GPT-4o는 77.98%에서 79.36%로, GPT-5는 80.51%에서 81.65%로 올랐습니다. 전문 지식을 평가하는 MMMU에서 GPT-4o는 69.10%에서 73.00%로 상승했고, 장편 영상 벤치마크인 VideoMME에서도 GPT-4o의 성능이 72.10%에서 76.70%로 개선되었습니다.

현재 소스 코드는 GitHub에 공개되어 있으며 Azure AI Foundry Labs에서도 제공됩니다. 산업 검사나 의료 등 도메인 특화 도구를 추가할 수 있는 모듈형 구조를 갖췄습니다.

왜 중요한가

장시간 녹화 영상 검색, 산업 모니터링, 대규모 멀티모달 지식베이스를 다루는 엔지니어라면 직접 테스트해볼 가치가 충분합니다. 무한한 컨텍스트 창을 가진 초거대 모델이 나오기를 마냥 기다리는 대신, 멀티 에이전트와 전용 비전 도구를 결합해 비용을 아끼고 정확도를 높이는 현실적인 해결책을 보여줍니다.

다만 간편하게 호출해 쓰는 경량 래퍼는 아닙니다. 비디오 전처리, 키프레임 추출, Azure AI Search 인덱싱 등 초기 데이터 파이프라인 구축이 필수적이므로 인프라 구축에 수반되는 공수는 감안해야 합니다.