Intel 推出 AutoRound：把 72B 大模型压到 INT2，量化只要 37 分钟

把 70B 级别的开源大模型塞进个人显卡或边缘设备，大家通常先想到量化。但一旦精度砍到 4-bit 甚至 2-bit，很多模型当场就胡言乱语了，更别说跑一次量化校准往往还要耗上几个小时。

英特尔在 Hugging Face 官方博客介绍了自家的开源量化工具 AutoRound。这是一个专注于权重量化（weight-only PTQ）的工具，不仅能在低至 2-bit 的极低比特下稳住模型表现，还把量化耗时压缩到了以分钟计。

极低比特不翻车的秘密

传统的权重量化方法在压到 4-bit 时尚可维持可用度，但一碰 2-bit 往往精度暴跌。AutoRound 采用了符号梯度下降（signed gradient descent）方法，同时联合优化权重舍入（weight rounding）和截断范围（clipping ranges）。

按照官方给出的基准测试，在 2-bit 精度下，AutoRound 相比主流基线方法的相对精度最高提升了 2.1 倍。即使在常规的 4-bit 精度下，在低比特 LLM 排行榜上依然保持明显优势。

更让人省心的是它对资源的极度克制。它只需要 200 个微调步数和少至 128 个样本的微调校准集，就能完成高精度量化。

在单张 A100 显卡上，量化一个 Qwen2.5 3B 模型只需要 3 分钟，Llama 3.1 8B 只需要 6 分钟。哪怕是面对 72B 这样的庞然大物，开启轻量模式（Light）也只要 37 分钟。相比之下，同等条件下 AutoAWQ 往往需要将近 2 个小时甚至近 4 个小时，而 Transformers 内置的 GPTQ 则直接爆显存（OOM）。

打通生态与视觉模型

AutoRound 并没有把自己封闭在英特尔自家的硬件圈子里。它底层集成了 Triton、Marlin、ExLLaMAV2、AutoGPTQ 和 AutoAWQ 等开源 CUDA 算子，支持直接导出为 GPTQ、AWQ 和 GGUF 等主流格式。

在模型支持上，除了 Qwen、LLaMA、DeepSeek 等主流大语言模型，它还支持超过 10 种视觉语言模型（VLM），包括 Mistral-Small-3.1 和 Gemma3。即便遇到完全没有针对性适配的新模型，开发者也能直接用内置的 RTN 无调优模式运行。

工具本身提供了三种配方，分别是追求极致精度的 Best、兼顾速度与效果的 Default，以及主打极速的 Light。开发者只要通过 pip 安装，就能用几行命令或一段简单的 Python 脚本完成导出。

为什么重要

我们认为，AutoRound 解决了大模型落地中一个非常现实的痛点：时间成本和极低算力部署门槛。

以往量化团队要调试一个 70B 模型，动辄半天一天，显存稍微吃紧就直接崩掉。现在压缩到半小时左右，意味着工程师做量化消融实验的迭代周期缩短了一个数量级。

对于个人开发者和边缘端部署者来说，2-bit 精度可用性的大幅提升，意味着原本只能仰仗云端 API 的复杂模型，未来很有希望真正在本地端侧跑起来。

英特尔这套打法看起来相当务实。它没有强推自家的独立技术孤岛，而是兼容了社区最常用的 AWQ、GPTQ 和 GGUF 格式，甚至主动帮开发者把已有的 GPTQ 模型转为 AutoRound 格式来适配英特尔硬件。

隐患在于，极低比特量化虽然账面跑分上去了，但在长文本推理和复杂逻辑多轮对话中，细节精度的丢失依然需要真实业务去验证。但无论如何，能把 72B 模型的量化门槛打到单卡 37 分钟，它绝对值得每一个做本地部署的开发者现在就试一试。