IBM, Granite 4 공개: 맘바-트랜스포머 결합해 메모리 6분의 1로 절감

IBM이 오픈소스로 공개한 'Granite 4'는 트랜스포머의 어텐션 메커니즘과 맘바(Mamba) 상태 공간 모델을 결합한 언어 모델 시리즈입니다. 긴 프롬프트 추론 시 메모리가 급증하는 문제를 해결하기 위해 설계되었습니다.

라인업은 30억부터 320억 파라미터까지 구성되며, 적은 하드웨어 자원으로 동급 모델 대비 우수한 성능을 내는 데 초점을 맞췄습니다.

모델 구성과 작동 방식

Granite 4 시리즈는 용도별로 총 4개의 모델을 제공합니다.

가장 작은 30억 파라미터 크기의 Granite-4.0-Micro는 표준 트랜스포머 기반으로 제작되어 일반적인 어텐션 방식으로 중요 정보를 처리합니다.

나머지 3개 모델은 하이브리드 아키텍처를 채택했습니다. 30억 파라미터의 Granite-4.0-H-Micro와 70억 파라미터의 Granite-4.0-H-Tiny는 응답 속도가 핵심인 저지연 환경에 최적화되었습니다.

가장 강력한 Granite-4.0-H-Small은 320억 파라미터 규모입니다. 전문가 혼합(MoE) 방식을 적용해 프롬프트에 답변할 때 90억 파라미터만 활성화하며, 고객 지원 같은 복잡한 작업에 적합합니다.

트랜스포머는 프롬프트 길이가 두 배가 되면 메모리 사용량이 네 배로 늘어납니다. 반면 우주선 궤도 계산에 쓰이던 수학적 구조를 응용한 Mamba-2는 훨씬 적은 메모리로 문맥을 파악합니다. 핵심 컴포넌트를 약 25줄의 코드로 압축해 하드웨어 효율도 끌어올렸습니다.

IBM 내부 벤치마크에 따르면 7B 모델인 Granite-4.0-H-Tiny는 단 15GB의 RAM만 사용해 이전 세대인 Granite 3.3 8B 대비 메모리 요구량을 6분의 1로 줄였습니다. 동시에 출력 품질도 개선되었습니다.

이용 방법과 향후 계획

Granite 4는 현재 IBM watsonx.ai와 Hugging Face를 비롯한 여러 서드파티 플랫폼에서 바로 이용할 수 있습니다.

IBM은 향후 Amazon SageMaker JumpStart와 Microsoft Azure AI로 지원을 확대하고, 고급 추론 역량을 강화한 모델도 추가 공개할 예정입니다.

왜 중요한가

제한된 하드웨어 예산 안에서 긴 프롬프트를 다루거나 고객 상담 봇을 자체 배포하려는 팀이라면 즉시 테스트해볼 만합니다.

트랜스포머의 메모리 병목 현상은 장문 추론의 고질적인 문제였고, 맘바 구조의 잠재력은 꾸준히 언급되었으나 대형 기업이 이를 결합해 완성도 높은 오픈소스로 배포한 사례는 드물었습니다. 7B 모델을 15GB 메모리 안으로 끌어내리면서 보급형 하드웨어에서도 장문 처리가 가능해져, 추론 비용을 획기적으로 낮출 실용적인 대안이 마련되었습니다.