인텔, AutoRound 공개: 72B 모델을 37분 만에 양자화하는 경량화 도구
인텔이 LLM 및 VLM을 위한 사후 양자화 도구 AutoRound를 공개했다. 가중치 반올림과 클리핑 범위를 최적화해 INT2 정밀도에서 기존 대비 최대 2.1배 높은 상대 정확도를 달성했다. 72B 모델 양자화를 37분 만에 끝내며 GPTQ, AWQ, GGUF 형식 내보내기를 지원한다.
인텔이 LLM 및 VLM을 위한 사후 양자화 도구 AutoRound를 공개했다. 가중치 반올림과 클리핑 범위를 최적화해 INT2 정밀도에서 기존 대비 최대 2.1배 높은 상대 정확도를 달성했다. 72B 모델 양자화를 37분 만에 끝내며 GPTQ, AWQ, GGUF 형식 내보내기를 지원한다.