인텔, AutoRound 공개: 72B 모델을 37분 만에 양자화하는 경량화 도구

거대 언어 모델(LLM)과 시각 언어 모델(VLM)을 실제 서비스에 배포할 때 가장 큰 걸림돌은 모델 크기와 양자화에 드는 시간입니다. 비트 수를 너무 줄이면 모델이 망가지고, 그렇다고 양자화를 돌리자니 몇 시간씩 걸리기 일쑤였습니다.

인텔은 4월 29일 허깅페이스 공식 블로그를 통해 고도화된 가중치 기반 학습 후 양자화(PTQ) 도구인 AutoRound를 공개했습니다.

극저비트에서도 버티는 정확도와 압도적인 속도

AutoRound의 핵심 알고리즘은 부호화 경사 하강법(signed gradient descent)을 사용해 가중치 반올림과 클리핑 범위를 동시에 최적화하는 방식입니다.

이 방식을 통해 2비트부터 8비트까지 광범위한 저비트 양자화에서 성능 손실을 최소화했습니다. 특히 2비트 환경에서는 기존의 대표적인 기준 모델들보다 상대적 정확도가 최대 2.1배 높게 나타났습니다.

놀라운 점은 튜닝에 드는 자원입니다. 단 200번의 튜닝 단계와 최소 128개의 보정 샘플만으로도 높은 수준의 정확도를 뽑아냅니다.

단일 엔비디아 A100 GPU 환경에서 Llama 3.1 8B 모델은 Light 모드 기준 6분 만에 양자화가 끝납니다. 72B 규모의 Qwen2.5 모델 역시 37분이면 충분합니다. 같은 환경에서 서너 시간씩 걸리거나 메모리 부족(OOM) 오류를 내던 기존 AutoAWQ나 GPTQ와는 확연한 속도 차이입니다.

오픈소스 생태계 전반을 아우르는 호환성

지원하는 모델 범위도 넓습니다. Qwen, LLaMA, DeepSeek 같은 대표적인 텍스트 모델은 물론 Mistral-Small-3.1, Gemma3 등 10개 이상의 비전 언어 모델(VLM)까지 지원합니다.

출력 포맷도 자유롭습니다. GPTQ, AWQ, GGUF 등 커뮤니티에서 널리 쓰이는 표준 포맷 저장을 모두 지원하며, 기존 모델을 AutoRound 포맷으로 변환해 인텔 하드웨어에서 최적의 성능을 내도록 돕는 기능도 포함됐습니다.

정확도를 최우선으로 하는 Best, 균형 잡힌 Default, 속도를 극대화한 Light 등 세 가지 사전 설정을 제공해 pip 설치 후 몇 줄의 스크립트만으로 바로 사용할 수 있습니다.

왜 중요한가

배포 엔지니어의 반복 작업 시간을 획기적으로 줄여준다는 점에서 실무적 가치가 매우 큽니다.

70B급 대형 모델의 양자화가 몇 시간에서 30분 안팎으로 단축되면, 여러 비트 수와 옵션을 테스트하는 실험 주기가 획기적으로 빨라집니다. 클라우드 연산 비용 절감으로도 직결됩니다.

또한 2비트 수준의 초저비트에서도 모델 정확도가 크게 꺾이지 않는다는 점은, 향후 온디바이스와 엣지 기기에서 고성능 오픈소스 모델을 직접 구동할 가능성을 한층 높여줍니다.

인텔이 자사 전용 규격에 갇히지 않고 GGUF, AWQ 같은 기존 오픈소스 표준과 쿠다 커널을 적극적으로 품은 전략도 영리합니다. 로컬 인퍼런스나 경량화 배포를 고민하는 개발자라면 지금 당장 도입을 검토해 볼 만합니다.