오픈소스 아키텍처 Mamba-3 공개: 지연 시간 줄이고 트랜스포머 대비 성능 4% 향상

Mamba-3는 추론 지연 시간을 줄이고 메모리 효율을 극대화한 오픈소스 상태 공간 모델(SSM) 아키텍처입니다. 카네기멜론대학교의 앨버트 구와 프린스턴대학교의 트리 다오 연구팀이 개발했으며, 상업적 활용이 자유로운 아파치 2.0 라이선스로 공개되었습니다. 기술 논문 역시 arXiv를 통해 함께 배포되었습니다.

이 아키텍처는 트랜스포머의 높은 연산 비용과 메모리 부담을 해결하는 데 초점을 맞춥니다. 대화가 길어질 때마다 이전 단어를 모두 다시 읽는 대신, 내부에서 압축된 상태 스냅샷을 실시간으로 갱신하는 방식을 취합니다.

하드웨어 대기 시간을 없애는 설계

이전 세대인 Mamba-2가 사전 훈련 병목을 해소하는 데 집중했다면, Mamba-3는 철저히 '추론 우선' 구조로 설계되었습니다. 모델이 다음 토큰을 생성할 때 GPU가 메모리 데이터 이동을 기다리며 연산을 멈추는 '콜드 GPU' 현상을 해결하는 것이 핵심입니다.

Mamba-3는 내부 상태 크기를 Mamba-2의 절반 수준으로 줄이면서도 동등한 수준의 펄플렉시티(언어 예측 품질)를 유지합니다. 메모리 전송량이 줄어들면서 칩이 쉬지 않고 계산에 집중할 수 있게 됩니다.

또한 기존 대안 아키텍처들이 겪어온 간단한 추론이나 산술 패턴 처리에서의 한계를 극복하기 위해 복소수 상태 표현을 도입해 약점으로 지적받던 추론 공백을 메웠습니다.

15억 파라미터 기준 벤치마크 결과

15억 파라미터(1.5B) 규모로 진행된 벤치마크 평가에서 Mamba-3의 MIMO 변형 모델은 평균 57.6%의 정확도를 기록했습니다.

이는 동일 규모의 표준 트랜스포머 아키텍처보다 2.2%포인트 높은 수치이며, 상대적 성능으로는 약 4% 향상된 결과입니다. 메모리 지연을 대폭 덜어내면서도 정확도를 더 끌어올렸다는 점이 확인되었습니다.

현재 아파치 2.0 라이선스가 적용된 소스 코드가 깃허브에 공개되어 있어, 개발자와 기업은 즉시 테스트하고 프로덕션 환경 도입을 검토할 수 있습니다.

왜 중요한가

대규모 모델 운영 비용의 대부분이 서비스 배포 후 실시간 추론에서 발생하는 만큼, 학습 속도보다 추론 효율에 집중한 이번 설계는 매우 실용적인 전환입니다.

온디바이스 환경에서 1B급 소형 모델을 구동하거나 실시간 응답 속도가 핵심인 파이프라인을 구축 중인 엔지니어라면 당장 벤치마크를 돌려볼 만합니다. 트랜스포머의 비효율성을 피하면서도 논리 추론 성능을 잃지 않는 강력한 대안으로 자리 잡을 가능성이 높습니다.