즈푸AI, 툴 호출 지원하는 오픈소스 비전 모델 'GLM-4.6V' 공개

즈푸AI가 오픈소스로 공개한 'GLM-4.6V'는 화면을 보고 직접 도구를 다룰 수 있도록 최적화된 비전-언어 모델이다. 프론트엔드 자동화나 복잡한 문서 분석처럼 이미지를 보며 외부 API를 호출해야 하는 작업에 곧바로 투입할 수 있다.

라인업은 두 가지다. 클라우드 추론용 106B 대형 모델 GLM-4.6V와, 엣지 기기나 로컬 환경에서 지연 시간 없이 돌릴 수 있는 9B 경량 모델 GLM-4.6V-Flash로 나뉜다. 두 모델 모두 완전한 상업적 이용과 코드 수정이 가능한 MIT 라이선스로 배포되어 기업 도입 문턱을 크게 낮췄다.

이미지를 곧바로 도구 파라미터로 넘긴다

기존 비전 모델은 도구를 쓰려면 화면 정보를 텍스트로 먼저 변환해야 했고, 이 과정에서 시각적 맥락이 손실되곤 했다. GLM-4.6V는 네이티브 함수 호출 방식을 도입해 스크린샷, 도표, 문서 이미지 등을 도구의 입력 파라미터로 직접 전달한다.

도구의 결과물을 받아오는 과정도 양방향으로 연결된다. 외부 도구가 렌더링한 차트나 웹 화면 캡처를 모델의 추론 과정에 시각 데이터 형태로 곧장 반영할 수 있다.

기술적으로는 AIMv2-Huge 기반의 ViT 인코더와 MLP 프로젝터를 결합했다. 비디오 프레임 처리를 위해 3D 합성곱과 명시적 타임스탬프 토큰을 적용했으며, 최대 200대 1 비율의 파노라마 이미지까지 지원한다. 컨텍스트 길이는 128k 토큰에 달해 두꺼운 단행본 분량의 시각 자료를 한 번에 처리한다.

벤치마크 결과와 사용법

20개 이상의 벤치마크 평가에서 106B 모델은 MMBench, MathVista, MMLongBench, ChartQAPro 등 주요 부문에서 동급 최고 수준의 점수를 기록했다. 9B 플래시 모델 역시 Qwen3-VL-8B와 이전 세대 모델을 앞섰다.

현재 모델 가중치와 문서는 허깅페이스에 올라와 있으며 코드는 깃허브에서 확인할 수 있다. OpenAI 호환 API로 연동하거나 웹 데모를 이용할 수 있고, 허깅페이스 스페이스에 데스크톱 어시스턴트 앱도 등록되어 있어 바로 테스트해 볼 수 있다.

왜 중요한가

UI 조작이나 복잡한 이미지 분석 기반의 에이전트를 개발하고 있다면 눈여겨봐야 할 프로젝트다. 가벼운 9B 플래시 모델만으로도 준수한 시각 도구 호출 기능을 로컬 환경에서 구현할 수 있다는 점이 매력적이다.

무엇보다 MIT 라이선스라는 점이 가장 큰 장점이다. 복잡한 사용권 제약 없이 사내 폐쇄망이나 상용 소프트웨어에 자유롭게 결합할 수 있어, 폐쇄형 모델의 비싼 API 비용을 피하려는 엔지니어링 팀에게 강력한 대안이 될 것으로 보인다.