本文へスキップ
IFAI

オープンソース

美団が1.6兆パラメータのLongCat 2.0公開:NVIDIA不使用で訓練

公開 拡散指数 48

中国の美団が1.6兆パラメータのMoEモデル「LongCat 2.0」をオープンソース公開した。最大の注目点は、35兆トークン超の事前学習をNVIDIA製GPUを使わず、独自のAI ASICクラスタのみで完遂したことだ。代替ハードウェアでも最先端モデルの訓練が可能であることを実証した。

美団が1.6兆パラメータのLongCat 2.0公開:NVIDIA不使用で訓練
画像:huggingface.co

LongCat 2.0は、中国の美団(Meituan)がオープンソースとして公開した、総パラメータ数1.6兆のMixture of Experts(MoE)言語モデルだ。

トークンごとに活性化するパラメータは約480億に抑えられており、コーディングや自律エージェントの処理に特化して設計されている。

特筆すべきは、モデルの事前学習から大規模推論に至るまで、NVIDIA製GPUを一切使わずに完遂した点だ。

35兆トークン以上、数百万アクセラレータ・日におよぶ学習は、すべて専用のAI ASICスーパーポッド上で実行された。大規模学習で頻発するバージョンの巻き戻しや致命的な損失急増(loss spike)は一度も起きなかったと報告されており、業界内ではファーウェイ(Huawei)のプロセッサが使われたのではないかとみられている。

技術的な仕組みと性能

百万トークン級の長文脈を処理するため、LongCat 2.0は独自のLongCat Sparse Attention(LSA)を導入した。

メモリへの断片的なアクセスを連続的な読み取りへと再構成し、隣接レイヤー間でインデックスを共有するなどの最適化によって、計算負荷を大幅に削減している。

また、MoE構造とは直交する次元でパラメータ効率を高めるため、1350億パラメータ分のN-gram Embeddingを組み込んだ。

社内評価によると、Terminal-Bench 2.1やSWE-bench Proといった自律コーディングベンチマークにおいて、Gemini 3.1 Proを上回り、GPT-5.5やClaude Opus各モデルに肉薄する性能を記録している。

動作環境と導入方法

重みはMITライセンスで提供され、商用利用を含めて自由に利用できる。

ただし、モデルサイズは極めて巨大だ。FP8版であってもファイルサイズは2TBを超えており、一般的な個人向けPCや単体GPUではロードすらできない。動かすにはエンタープライズ向けのマルチチップ環境が必須となる。

環境構築向けにはvLLMやSGLang用のスクリプトが用意されており、GPUだけでなくNPU上での動作もサポートしている。Claude CodeやHermesといったエージェント用ツールと連携してリポジトリの自動編集なども可能だ。モデルはHugging Faceから取得できるほか、longcat.aiでウェブチャットを直接試すことができる。

なぜ重要か

個人開発者がローカル環境で動かすには、コミュニティによる軽量な量子化版の登場を待つ必要がある。一般的な環境で扱うには敷居が高すぎるのが現状だ。

だが業界全体にとっては大きな転換点となる。これまでの最先端モデルの学習はNVIDIA製GPUがデファクトスタンダードであり、他社製チップでの大規模学習は不安定さからほぼ不可能とされてきた。美団がASICクラスタだけで35兆トークンの学習をトラブルなく走り切った事実は、NVIDIA依存からの脱却が現実的であることを示している。

情報源 (1)

  1. [1]
    huggingface.co(新しいタブで開きます)原文huggingface.co

毎日のAIピックアップ