オープンソースモデル「Qwen2」公開、5サイズ展開で文脈長は最大128K

Qwen2は、Qwenチームが新たに公開した次世代のオープンソース大規模言語モデル群だ。エッジ端末向けの超軽量サイズから大規模クラスタ向けの大型モデルまでを一度に揃え、多言語対応、コーディング、数学推論、そして長文脈処理能力を大きく引き上げている。

提供されるモデルと機能

Qwen2は、0.5B、1.5B、7B、MoE構造の57B-A14B、そして最上位の72Bという5つのパラメータサイズで構成される。全サイズで事前学習済みのベースモデルと指示チューニング版が提供されている。

アーキテクチャ上の大きな変更点として、全サイズにGQA（Group Query Attention）が導入された。推論速度の向上とメモリ消費の削減が全域で実現されており、小型の2モデルについてはパラメータ効率を高めるためにTie Embeddingも採用されている。

対応言語も大幅に拡大した。従来の中国語や英語に加え、西欧、東欧、中東、アジア圏を含む27言語の学習データを追加。日常会話で頻発する言語混在（コードスイッチング）への耐性も重点的に改善された。

文脈長については、7Bと72Bの指示チューニング版がYARNなどの技術を併用することで最大128Kトークンに対応。「Needle in a Haystack」テストでも高い情報検索精度を示している。57B-A14Bは64K、最小の2サイズは32Kをサポートする。

性能と動作環境

性能面では、最上位のQwen2-72BベースモデルがLlama-3-70Bを各種ベンチマークで上回り、パラメータ数の多い前世代モデルQwen1.5-110Bをも凌駕した。事後学習にはCodeQwen1.5のノウハウが取り入れられ、プログラミング言語の生成や数学タスクのスコアが跳ね上がっている。

多言語の安全性テストにおいても、Qwen2-72B-InstructはGPT-4と同等レベルの安全性を示し、Mistral-8x22Bを大きく引き離す耐性を示した。

ハードウェア面では、0.5Bや1.5BならノートPCやモバイル端末で十分に動作する。7Bは16GB程度の一般的なGPUで動かせ、72Bは複数枚のGPU構成または量子化版での運用が適している。vLLM、Ollama、LM Studio、llama.cpp、MLXなど主要な推論環境に対応済みだ。

ライセンスも見直された。Qwen2-72Bのみ従来のQianwenライセンスが継続されるが、0.5B、1.5B、7B、57B-A14Bの4モデルは商用利用しやすいApache 2.0へ変更された。重みとコードはHugging FaceおよびModelScopeから入手できる。

なぜ重要か

実用的な長文読解力や非英語圏の言語処理能力をローカル環境で確保したい開発者にとって、Qwen2は極めて魅力的な選択肢となる。特に7Bモデルが128Kトークンの文脈長を持ち、Apache 2.0ライセンスで商用利用できる点は、社内ツールやエージェント構築のコストを一気に下げる。

オープンソース業界全体にとっても、Llama 3に対抗できる強力な選択肢がより柔軟なライセンス体系で登場した意義は大きい。多言語対応力と実効的な長文性能を兼ね備えた基盤モデルの基準が、一段引き上げられた格好だ。