アリババが新フレームワーク「QwenLong-L1」発表：長文推論でClaude 3.7に匹敵

数学の難問やコード生成で驚異的な実力を見せる最新のAI推論モデルも、数百ページに及ぶ企業の有価証券報告書や複雑な契約書を丸ごと読み込ませると、途端に破綻してしまう課題を抱えていました。

アリババはこの問題を解消するため、長文コンテキストに特化した強化学習フレームワーク「QwenLong-L1」を発表しました。

なぜ長文になるとAIは考えられなくなるのか

強化学習（RL）によって、推論モデルは人間のような「遅い思考」を獲得し、複雑な課題を解く能力を飛躍的に向上させました。

しかし、この成功は基本的に4000トークン前後の短いテキストを前提としたものでした。コンテキストが12万トークン規模に膨らむと、推論能力を維持するのは困難になります。

短文の推論がモデル内部の記憶に依存するのに対し、長文推論は入力された膨大なテキストから根拠を正確に検索・抽出した上で、多段階の思考チェーンを組み立てる必要があります。

これを強化学習で直接学習させようとすると、最適化プロセスが極めて不安定になり、学習の収束失敗や多様な推論経路の喪失を招いていました。

段階的なカリキュラムとハイブリッド評価

アリババは長文を一気に学習させるのではなく、段階的なステップを踏むアプローチを設計しました。

まず初期段階で、長文データを用いた教師あり微調整を実施し、文脈理解と論理的な推論チェーン生成の基礎を固めます。

次に、カリキュラムに沿った段階的強化学習へと移行し、入力ドキュメントの長さを段階的に伸ばしながら推論戦略を適応させます。

最終段階では、難易度を意識したサンプリングを行い、以前のフェーズで失敗した難問を集中的に再学習させて複雑な思考パターンを定着させます。

評価システムも刷新されました。数式のような単一の正解が存在しない長文タスクに対応するため、厳密な正誤チェックを行うルールベース検証と、回答の意味的な正しさを判定する「LLM-as-a-judge」を組み合わせたハイブリッド報酬を採用しています。

7つの長文文書質問応答（DocQA）ベンチマークによる検証では、DeepSeek-R1-Distill-Qwen-32BをベースにしたQWENLONG-L1-32Bが、AnthropicのClaude-3.7 Sonnet Thinkingと同等の性能を記録しました。

さらにOpenAIのo3-miniや巨大なQwen3-235B-A22Bを上回り、小型の14BモデルでもGoogleのGemini 2.0 Flash Thinkingを凌駕する結果を示しています。

なぜ重要か

財務諸表の分析や法務デューデリジェンスといった実務では、長文を破綻なく深く読み解く推論モデルが渇望されていました。

これまで高価な最先端の商用モデルに頼らざるを得なかった領域で、14Bや32Bといった比較的小規模なオープンモデルが大手旗艦モデルに匹敵する精度を出せたことは、オンプレミス運用を目指す企業にとって極めて大きな転換点になります。

強化学習における長文の壁に対して、入力を徐々に長くしていくカリキュラム学習と回顧サンプリングを採用した手法は、計算コストを抑えつつ訓練の安定性を確保しており、非常に合理的なアプローチだと評価できます。

一方で、報酬設計の一部にLLMジャッジを組み込んでいるため、極めて専門的で曖昧なドキュメントにおいてジャッジ側の評価ブレがモデルの推論を誤誘導する懸念は残されており、現場導入に向けた追加の検証が待たれます。