本文へスキップ
IFAI

AIモデル

z.aiがGLM-5を発表:744BパラメータでVibe Codingから自律型エンジニアリングへ

公開 拡散指数 48

z.aiが新フラッグシップモデル「GLM-5」を発表しました。パラメータ数は744B(アクティブ40B)に拡張され、28.5Tトークンで事前学習を実施。スパースアテンションや非同期RL基盤を採用し、プログラミング支援を単なる感覚的コーディングから長期タスクをこなす自律的エンジニアリングへと引き上げます。

画像:aws.amazon.com

AIに適当な指示を出して動くコードを書かせる「Vibe Coding」から、数時間にわたる検証や修正を自律してこなす「Agentic Engineering」へ。Z.aiが発表した最新オープンウェイトモデル「GLM-5」シリーズは、まさにその境界線を越えようとしています。

今回公開されたリポジトリと技術報告では、初代GLM-5からGLM-5.2、そして最新のGLM-5.3およびGLM-5.3-Flashに至るまでの急速な進化が明かされました。

事後学習だけでコーディング性能を50%引き上げ

GLM-5は、総パラメータ数をGLM-4.5の355B(アクティブ32B)から744B(アクティブ40B)へと大幅に拡大しました。事前学習データも23Tトークンから28.5Tトークンへと引き上げられています。

モデルの推論効率を高めるためDeepSeek Sparse Attention(DSA)を採用したほか、強化学習(RL)のスループットを高める非同期インフラ「slime」を独自開発。これによって緻密な事後学習の反復を可能にしました。

その集大成となるのがGLM-5.3です。ベースモデルはGLM-5.2のままでありながら、事後学習のみの改良によって社内評価ベンチマーク(Z.ai Code Bench)で50%のスコア向上を達成しました。

Terminal Bench 3.0やAgents' Last Examでもオープンソース首位を獲得。さらに興味深い点として、事後学習のスケールに伴い脆弱性の発見や攻撃コード生成といったサイバーセキュリティ能力が急激に発現し、悪用フェーズのベンチマークではGLM-5.2比で2倍以上のスコアを記録したと報告されています。

100万トークンの長丁場に耐えるアーキテクチャ

これまでのエージェント型モデルは、手元の解法をいくつか試して失敗するとすぐに行き詰まる傾向がありました。

GLM-5シリーズは、何百回もの対話と何千回ものツール呼び出しを維持できるよう設計されています。GLM-5.2では安定した100万(1M)トークンコンテキストを実装し、Terminal-Bench 2.1で81.0、SWE-bench Proで62.1を記録しました。これはGemini 3.1 Proを上回り、Claude Opus 4.8(85.0)に迫る数字です。

長大なコンテキストを低コストで運用するため、4つのスパースアテンション層ごとにインデクサーを共有する「IndexShare」を導入し、1Mトークン時の計算量を2.9倍削減しています。

また、軽量版のGLM-5.3-Flashではスパースとリニアを組み合わせたハイブリッドアテンションやmHC技術を取り入れ、30Tトークンのマルチモーダルデータで一から訓練されています。

なぜ重要か

開発者にとって、GLM-5.3は単なるコード補完ではなく、複雑なリポジトリの改修やテストの自動化を本気で任せられる実用段階に入ったことを意味します。推論の手間を段階的に調整できる設計も、実務のコスト管理において使い勝手が良いはずです。

業界の視点で見ると、GLM-5.3がベースモデルを変更せずに事後学習だけで50%もの性能向上をもたらしたという事実は極めて示唆的です。巨額の計算資源を投じる事前学習だけでなく、強化学習インフラの工夫が勝敗を分ける段階に入っていると私たちは見ています。

一方で、事後学習によって想定以上にサイバー攻撃能力が伸びてしまった点は、オープンウェイトモデルの配布における安全管理上の大きな課題として議論を呼びそうです。

情報源 (2)

  1. [1]
  2. [2]

毎日のAIピックアップ