Intel 推出 AutoRound：把 72B 大模型壓到 INT2，量化只要 37 分鐘
Intel 介紹了模型量化工具 AutoRound。它通過符號梯度下降聯合最佳化權重舍入與截斷範圍，在 INT2 精度下相對準確率最高比主流基準提升 2.1 倍。輕量模式下量化 72B 模型僅需 37 分鐘，並支援匯出 GPTQ、AWQ 和 GGUF 等格式。
Intel 介紹了模型量化工具 AutoRound。它通過符號梯度下降聯合最佳化權重舍入與截斷範圍，在 INT2 精度下相對準確率最高比主流基準提升 2.1 倍。輕量模式下量化 72B 模型僅需 37 分鐘，並支援匯出 GPTQ、AWQ 和 GGUF 等格式。