中関村、7.39Bモデル「ZGCM-1」公開：数学と検索特化、訓練手順も全開放

ZGCM-1は、中関村学院と中関村人工知能研究院が公開した7.39Bパラメータの密な言語モデルです。数学的推論と、外部ツールを用いたエージェント検索に特化してゼロから構築されています。

256Kトークンの長大なコンテキストに対応し、思考モードと通常応答モードを1つのモデルで切り替え可能。コンシューマー向けGPUでそのまま動かせる軽量さを持ちながら、データ処理から強化学習までの全工程が完全に公開されています。

何ができるのか

最大の特徴は数学推論性能の高さです。256K SFTチェックポイントの思考モードにおいて、MATH-500で97.13%、AIME 2026で75.00%、HMMT 2025で70.42%をマークしました。レポート内で比較された7Bから8Bクラスの競合7モデル中、14の推論ベンチマーク平均順位で首位を獲得しています。

外部ツールを使った情報検索エージェントとしても高い実用性を示しています。WebWalkerQAで63.09%、BrowseCompで19.43%、GAIAのテキストタスクで42.52%を達成したほか、Ghidraを用いたバイナリ関数検索タスクでも62.00%の正解率を記録しました。

どのような仕組みか

小規模モデルで高い推論力と長文処理を両立させるため、アーキテクチャに工夫が凝らされています。

全32層のうち、27層に局所ウィンドウ幅128のゲート付きスライディングウィンドウアテンションを採用し、大域アテンションは5層に限定しました。これにより、256Kコンテキスト処理時の訓練スループットを通常のアテンション比で3.94倍に引き上げています。

訓練は3段階で行われました。まずFP8精度とMuonオプティマイザを用いて約4.19Tトークンの事前学習を実施。続いてコンテキスト長を16K、64K、256Kへと段階的に拡張しながら、対話履歴をマルコフ決定プロセスとして扱う中間学習を約600Bトークン分行いました。最後に実行検証付き軌跡を用いたSFTと強化学習で仕上げています。

スペックと公開状況

パラメータ数は7.39Bであり、高価なクラスタを用意しなくても、手元の一般的なグラフィックボードで推論を実行可能です。

コードベース全体がMITライセンスの下でオープンソース化されており、データ処理、事前学習、中間学習、SFT、強化学習のディレクトリに分かれて詳細な手順が記されています。重みとデータセットもHugging Faceから直接入手可能です。

なぜ重要か

巨大なモデルを動かすインフラを持たない開発者にとって、ローカルの単一GPUで高精度な数学推論や検索エージェントを自前構築できる選択肢は貴重です。

外部レビューでは、論文内の比較対象に旧世代モデルが含まれており、ベンチマーク結果に一部都合の良い選定が見られるとの指摘もあります。しかし、7B規模でMATH-500のスコアが97%を超えている点や、データパイプラインまで完全に再現可能な形で開放された意義は大きく、試してみる価値は十分にあります。