IBM, 추론 온오프 기능과 문서 특화 VLM 담은 그래닛 3.2 오픈소스 공개

IBM이 오픈소스로 공개한 그래닛 3.2는 실무 기업 환경에 맞춘 경량 모델 제품군입니다. 핵심은 간단한 API 조작으로 생각 과정을 켜고 끌 수 있는 추론 텍스트 모델과 복잡한 문서 처리에 특화된 2B 비전 언어 모델입니다. 모든 모델은 자유로운 활용이 가능한 Apache 2.0 라이선스로 허깅페이스에 공개되었으며, Ollama, LM Studio, IBM watsonx.ai 등에서도 바로 실행할 수 있습니다.

기능과 작동 방식: 추론 모드 온오프 스위치

텍스트 모델의 주력은 그래닛 3.2 인스트럭트 2B와 8B입니다. 두 모델 모두 문제를 단계적으로 풀어내는 생각의 사슬 추론 기능을 지원하지만, IBM은 업계의 기존 흐름과 다른 영리한 제어 방식을 택했습니다.

최근 추론 모델들은 사소한 질문에도 지나치게 오래 생각하면서 연산 자원과 시간을 낭비하는 경향이 있습니다. IBM 연구진에 따르면 DeepSeek-R1의 경우 "로마는 어디에 있는가?"라는 단순 질문에도 답을 내기까지 무려 50.9초 동안 생각을 거듭했습니다. 굳이 긴 추론이 필요 없는 상황에서는 명백한 자원 낭비입니다.

그래닛 3.2는 API 파라미터에 thinking:true 또는 thinking:false만 입력하면 이 긴 생각 과정을 즉시 켜고 끌 수 있습니다. 깊은 논리적 판단이 필요할 때만 추론을 켜고, 단순 질의응답에는 즉답을 유도해 비용을 대폭 줄일 수 있습니다.

학습 방식에는 사고 선호도 최적화(TPO) 프레임워크를 적용했습니다. 특정 논리 문제에만 매달려 모델의 범용 명령 수행 능력이나 안전성이 망가지는 문제를 방지하기 위함입니다. 추론 연산 확장 기술을 결합하면 8B 모델임에도 수학 추론에서 GPT-4o나 클로드 3.5 소네트 수준의 성능을 냅니다. 특히 딥시크 증류 데이터를 쓰지 않아 기업 입장에서 데이터 라이선스 및 규제 위험이 없습니다.

문서 분석에 집중한 2B 비전 모델

함께 공개된 그래닛 비전 3.2 2B는 일반적인 사진 대화용이 아니라 표, 차트, PDF 문서 처리에 초점을 맞춘 경량 시각 모델입니다.

기존의 OCR 방식은 오류가 누적되기 쉽고, 대형 멀티모달 모델은 운영 비용이 큽니다. IBM은 자체 오픈소스 도구인 도클링을 활용해 8,500만 건의 PDF에서 2,600만 개의 합성 질문-답변 쌍을 추출해 이 모델을 학습시켰습니다. 덕분에 DocVQA나 ChartQA 같은 문서 이해 평가에서 훨씬 큰 대형 모델에 필적하는 성능을 보여줍니다.

외부 감시 모델 없이 트랜스포머의 어텐션 벡터를 활용해 유해 입력을 스스로 탐지하는 안전 기술도 내장했습니다. 아울러 크기를 30% 줄인 안전 모델 그래닛 가디언 3.2와 1,000만 개 미만의 파라미터로 최대 2년 앞을 예측하는 시계열 모델 TinyTimeMixers도 패키지에 포함됐습니다.

왜 중요한가

클라우드 비용 부담 없이 로컬 하드웨어나 사내 서버에서 인하우스 모델을 굴리려는 개발자에게 그래닛 3.2는 매우 매력적인 대안입니다. 2B와 8B의 컴팩트한 크기 덕분에 일반 소비자용 GPU에서도 가볍게 구동되며, Apache 2.0 라이선스로 상업적 제약도 없습니다.

무작정 모델 크기를 키우거나 모든 질문에 무의미한 추론을 강제하는 대신, 개발자에게 통제권을 넘긴 판단은 매우 현실적입니다. 벤치마크 신기록을 노리는 괴물 모델은 아니지만, 사내 문서를 파싱하고 정형화된 업무를 자동화하는 대다수의 실무 작업에는 이처럼 실용적인 소형 모델이 훨씬 유용합니다.