Intel 推出 AutoRound：把 72B 大模型壓到 INT2，量化只要 37 分鐘

把 70B 級別的開源大模型塞進個人顯示卡或邊緣裝置，大家通常先想到量化。但一旦精度砍到 4-bit 甚至 2-bit，很多模型當場就胡言亂語了，更別說跑一次量化校準往往還要耗上幾個小時。

英特爾在 Hugging Face 官方部落格介紹了自家的開源量化工具 AutoRound。這是一個專注於權重量化（weight-only PTQ）的工具，不僅能在低至 2-bit 的極低位元下穩住模型表現，還把量化耗時壓縮到了以分鐘計。

極低位元不翻車的秘密

傳統的權重量化方法在壓到 4-bit 時尚可維持可用度，但一碰 2-bit 往往精度暴跌。AutoRound 採用了符號梯度下降（signed gradient descent）方法，同時聯合最佳化權重舍入（weight rounding）和截斷範圍（clipping ranges）。

按照官方給出的基準測試，在 2-bit 精度下，AutoRound 相比主流基線方法的相對精度最高提升了 2.1 倍。即使在常規的 4-bit 精度下，在低位元 LLM 排行榜上依然保持明顯優勢。

更讓人省心的是它對資源的極度剋制。它只需要 200 個微調步數和少至 128 個樣本的微調校準集，就能完成高精度量化。

在單張 A100 顯示卡上，量化一個 Qwen2.5 3B 模型只需要 3 分鐘，Llama 3.1 8B 只需要 6 分鐘。哪怕是面對 72B 這樣的龐然大物，開啟輕量模式（Light）也只要 37 分鐘。相比之下，同等條件下 AutoAWQ 往往需要將近 2 個小時甚至近 4 個小時，而 Transformers 內建的 GPTQ 則直接爆視訊記憶體（OOM）。

打通生態與視覺模型

AutoRound 並沒有把自己封閉在英特爾自家的硬體圈子裡。它底層集成了 Triton、Marlin、ExLLaMAV2、AutoGPTQ 和 AutoAWQ 等開源 CUDA 運算元，支援直接匯出為 GPTQ、AWQ 和 GGUF 等主流格式。

在模型支援上，除了 Qwen、LLaMA、DeepSeek 等主流大語言模型，它還支援超過 10 種視覺語言模型（VLM），包括 Mistral-Small-3.1 和 Gemma3。即便遇到完全沒有針對性適配的新模型，開發者也能直接用內建的 RTN 無調優模式執行。

工具本身提供了三種配方，分別是追求極致精度的 Best、兼顧速度與效果的 Default，以及主打極速的 Light。開發者只要通過 pip 安裝，就能用幾行命令或一段簡單的 Python 指令碼完成匯出。

為什麼重要

我們認為，AutoRound 解決了大模型落地中一個非常現實的痛點：時間成本和極低算力部署門檻。

以往量化團隊要除錯一個 70B 模型，動輒半天一天，視訊記憶體稍微吃緊就直接崩掉。現在壓縮到半小時左右，意味著工程師做量化消融實驗的迭代週期縮短了一個數量級。

對於個人開發者和邊緣端部署者來說，2-bit 精度可用性的大幅提升，意味著原本只能仰仗雲端 API 的複雜模型，未來很有希望真正在本地端側跑起來。

英特爾這套打法看起來相當務實。它沒有強推自家的獨立技術孤島，而是相容了社群最常用的 AWQ、GPTQ 和 GGUF 格式，甚至主動幫開發者把已有的 GPTQ 模型轉為 AutoRound 格式來適配英特爾硬體。

隱患在於，極低位元量化雖然賬面跑分上去了，但在長文本推理和複雜邏輯多輪對話中，細節精度的丟失依然需要真實業務去驗證。但無論如何，能把 72B 模型的量化門檻打到單卡 37 分鐘，它絕對值得每一個做本地部署的開發者現在就試一試。