Intelが「AutoRound」発表：72Bモデルを37分で量子化、INT2でも高精度

大規模言語モデル（LLM）やマルチモーダルモデル（VLM）を軽量化して実用環境へデプロイする際、精度の劣化と量子化作業にかかる膨大な計算時間は常に開発者の頭を悩ませてきました。

米インテルは4月29日、Hugging Faceの公式ブログにて、重み専用の学習後量子化（PTQ）ツール「AutoRound」を発表しました。

極低ビットでも精度を保ち、高速に処理

AutoRoundは、符号付き勾配降下法（signed gradient descent）を用いて重みの丸め処理とクリッピング範囲を同時に最適化する手法を採用しています。

これにより、2-bitから8-bitまでの低ビット量子化において精度の低下を抑えることに成功しました。特に極端な2-bit環境では、従来の主要なベースライン手法と比較して最大2.1倍高い相対精度を達成しています。

計算コストの低さも大きな特徴です。わずか128サンプル程度の小さなキャリブレーションデータと200ステップの調整で高精度を維持できます。

Nvidia A100 GPUを使用した検証では、Llama 3.1 8Bの量子化がLightモードでわずか6分で完了します。72Bクラスの巨大モデルでも約37分で完了し、数時間を要したりメモリ不足（OOM）を起こしがちだった従来のGPTQやAutoAWQを大幅に上回る処理速度を示しました。

幅広いモデルとエコシステムへの対応

対応モデルの幅広さも実用的です。Qwen、LLaMA、DeepSeekといった主要なLLMだけでなく、Mistral-Small-3.1やGemma3など10種類以上のVLMをサポートしています。

出力フォーマットはGPTQ、AWQ、GGUFに対応しており、TritonやMarlin、ExLLaMAV2といったコミュニティ標準のカーネルを活用しています。また、既存のGPTQやAWQモデルをAutoRound形式に変換してインテル製ハードウェアでの実行効率を高めることも可能です。

ユーザーは用途に合わせて、最高精度を目指すBest、標準的なDefault、速度重視のLightの3つのプリセットから選択できます。

なぜ重要か

モデルの量子化にかかる試行錯誤の時間を劇的に圧縮できる点が、現場のエンジニアにとって最大の価値だと考えます。

70Bクラスのモデルを量子化するのに半日近くかかっていたプロセスが30分強に短縮されれば、デプロイ前の検証サイクルは飛躍的に速くなります。コストと手間の両面で、試行のハードルが一段下がりました。

また、実用に耐えうる2-bit量子化の道が現実味を帯びてきたことは、将来的に高機能なLLMをメモリの限られたエッジデバイスで動かすための重要な足がかりになります。

自社製チップへの囲い込みを狙うのではなく、AWQやGGUFなどオープンソースコミュニティで普及しているフォーマットをそのままサポートしたインテルのアプローチは非常に賢明です。ローカルデプロイを検討している開発者は、今すぐ試す価値がある選択肢と言えます。