Qwenが推論モデル「QwQ-32B」公開、DeepSeek-R1に匹敵

高精度な推論AIを動かすには、数千億パラメータの巨大モデルが本当に必要なのでしょうか。アリババのQwenチームがその常識に挑む新たなモデルを投入しました。

同チームは3月5日、320億パラメータ規模の新しい推論特化型モデル「QwQ-32B」を公開しました。総パラメータ数は32.5B（非エンベディングで31.0B）で、DeepSeek-R1やOpenAIのo1-miniといった最先端の推論モデルに匹敵する性能を誇ると説明しています。

強化学習のスケーリングで難問を突破する

QwQは、Qwenシリーズの中でも思考と推論のプロセスを重視した専用ラインです。今回のモデルは、実績のあるQwen2.5-32Bをベースに開発されました。

事前学習に加えて、教師あり微調整（SFT）と強化学習（RL）を組み合わせたポストトレーニングを実施。強化学習を継続的に拡大することで、特に数学やプログラミングといった高難易度の課題解決能力が大幅に向上することが確認されたとしています。

アーキテクチャ面では、64層構造、RoPE、SwiGLU、RMSNorm、そしてGrouped Query Attention（Qヘッド40、KVヘッド8）を採用しています。

コンテキスト長は最大131,072トークンに対応。ただし、8,192トークンを超える長文プロンプトを処理する際には、YaRNの有効化が必要となります。

導入の敷居を下げるオープンな提供形態

利用環境も初日から幅広く整えられています。

一般ユーザーは、Qwen Chat公式WebサイトやHugging Face Spacesのデモを通じて、思考プロセスを含む推論をすぐに試すことができます。

開発者向けにはHugging FaceおよびModelScopeで重みが公開されており、vLLMやSGLang、Dockerを用いたローカル環境や自社サーバーでのサービング手順も提供されています。利用にはTransformers 4.37.0以上が推奨されています。

なぜ重要か

QwQ-32Bの最大の意義は、最先端の推論モデルを「自前で手軽に動かせるサイズ感」に落とし込んだ点にあると私たちは考えています。

これまでDeepSeek-R1などの先駆的な推論モデルは注目を集めてきたものの、超巨大なMoEモデルを自社インフラで安定運用するには膨大なGPUリソースが不可欠でした。

32Bという密度パラメータは、エンタープライズの限られたリソースや高性能な単体GPUワークステーションでも運用可能な絶妙なサイズです。これにより、外部APIに機密データを送信できない企業や個人開発者でも、高精度な推論機能を低コストで組み込めるようになります。

モデルサイズを無駄に大型化させず、強化学習のスケールによって巨大モデルに対抗するアリババのアプローチは極めて合理的です。一方で、思考プロセスが長くなることによる出力待機時間や、8kトークン超えでのYaRN設定の手間といった課題は残ります。それでも、自律型エージェントやコーディング支援を構築するエンジニアにとって、今すぐ検証する価値のある強力な選択肢と言えます。