Magicが1億トークンの超長文脈モデルを発表、3.2億ドルを調達

AIにプログラミングを任せる際、最大の障壁となってきたのが文脈の限界です。大規模なリポジトリを丸ごと読み込ませようとすれば、GPUメモリが瞬時にパンクし、莫大なコストが発生していました。

AIソフトウェア開発を手がけるMagicは、1億トークンという驚異的なコンテキストウィンドウを処理できるモデル「LTM-2-mini」を発表しました。あわせて3億2000万ドルの新たな資金調達と、Google CloudおよびNVIDIAとの大規模なスパコン構築提携を明らかにしています。

小説750冊分を飲み込み、甘いベンチマークを暴く

1億トークンとは、コードに換算すると約1000万行、書籍なら約750冊分に相当します。インターネット上に公開されていないプライベートな社内ライブラリや仕様書を含め、開発プロジェクトのすべてを推論時にそのまま流し込める計算です。

Magicは、既存の長文評価手法である「Needle In A Haystack（干し草の中の針）」は抜け穴だらけだと指摘します。小説の中に突然カフェの話題を紛れ込ませるようなテストでは、モデルが意味的な違和感を拾うだけで正解できてしまい、本来の記憶容量を測れません。

そこで同社は、新指標「HashHop」を独自に開発してオープンソース化しました。完全にランダムで圧縮不能なハッシュ値のペアをシャッフルして与え、複数ステップの連鎖的な参照を解かせます。これはコード内で変数の代入やライブラリの依存関係を追跡する処理を模したもので、同社のLTMアーキテクチャはこの難問で優れた追跡能力を示しました。

638台のH100を1台未満へ、手書きCUDAで挑む23人

長文脈処理の真の壁はメモリ消費にあります。Metaの「Llama 3.1 405B」で1億トークンを動かそうとすると、ユーザー1人分のKVキャッシュを保持するだけで638台のNVIDIA H100（計51TBのメモリ）が必要になります。

これに対しLTM-2-miniは、1人のユーザーにつき単一のH100のメモリのわずか一部しか消費しません。シーケンス次元の計算コストは、Llama 3.1の注意機構と比べて約1000分の1に抑えられています。

モデル自体の規模は現在の最先端より何桁も小さいものの、未知のカスタムGUIフレームワークのコードベースだけを与えられて電卓アプリを構築したり、オープンソース「Documenso」のパスワード強度測定機能を自律実装したりする成果を見せました。

驚くべきは、Magicがわずか23人のチームだという点です。元OpenAIのスパコン責任者であるBen Chess氏らが参画し、PyTorchの自動微分を使わずCUDAコードを一から手書きして極限の効率化を達成しました。同社はエリック・シュミット氏やSequoia、Jane Streetなどから3億2000万ドルを調達し、累計調達額は5億1500万ドルに達しています。

さらにGoogle Cloud上でNVIDIA GB200 NVL72を搭載したスパコン「Magic-G5」の構築を進めており、将来的には数万基規模のBlackwell GPUへ拡張する計画です。

なぜ重要か

私たちは、この発表が「事前学習重視」から「推論時の計算能力と極限の長文脈」へとAI開発の主戦場が移り変わる兆しを示していると考えています。

開発者にとっての恩恵は極めて具体的です。同社が掲げる「10分と100ドルを投じるだけで、難解な課題に対して完璧なPR（プルリクエスト）が自動生成される世界」が現実味を帯びてきます。現在試せるのはGitHub上のHashHopベンチマークに限られますが、超長文コンテキストの真価を実感できる日は近そうです。

パラメータ数の巨大化を追わず、メモリ構造を再設計して計算コストを極限まで削ったアプローチは非常に合理的です。これが実用化されれば、断片的な情報を検索して継ぎ接ぎする従来のRAG手法は、コード理解の分野で一気に色あせる可能性があります。

一方で課題もあります。長大な文脈を保持できることと、複雑なソフトウェアの論理的整合性を破綻なく設計できることは同義ではありません。小規模なプロトタイプから巨大なLTM-2へのスケールアップにおいて、論理の破綻や幻覚をどこまで抑え込めるかが今後の焦点となります。