HRM-Text：約1000ドルの計算資源で1B推論モデルをゼロから事前学習

数千万ドル規模の計算資源が当たり前となった基盤モデルの事前学習において、ゼロからモデルを育てる試みは長らく巨大テック企業だけの特権でした。しかし、スマートフォン1台分程度の予算で、数学的推論をこなす1Bモデルをゼロから作れるとしたら話は別です。

Sapient IntelligenceはGitHub上で「HRM-Text」の事前学習フレームワークをApache 2.0ライセンスでオープンソース公開しました。約1000ドルの計算コストで、10億パラメータのテキスト生成・推論モデルをフルスクラッチ学習できる環境を提供しています。

脳に着想を得た設計で計算量を最大600分の1に圧縮

HRM-Textが学習コストを劇的に引き下げられた理由は、データをひたすら投入する力任せの手法を見直した点にあります。人間の脳構造に着想を得た階層型再帰アーキテクチャを採用し、潜在空間内での効率的な推論とタスク完了を実現しました。

開発元によると、この構造により計算資源は130〜600分の1、必要な学習データ量は150〜900分の1に激減しています。学習に使用したデータは約400億の構造化トークンにとどまり、これは同等の性能を持つ一般的なモデルと比べて約1000分の1の規模です。

計算コストの内訳も明快です。H100の利用料を1時間あたり2ドルと想定した場合、0.6BモデルはH100を8基積んだ単一ノードで約50時間、計800ドル程度で完了します。1Bモデルの場合はH100を16基使い、2ノードで約46時間、およそ1472ドルで学習可能です。

ベンチマーク結果も優秀です。1BモデルはGSM8kで84.7％、MATHで56.5％、MMLUで60.7％、DROPで82.3％を記録しました。10億パラメータかつ極小のデータセットで学習されたモデルとしては、既存の標準的なTransformerを凌ぐ推論力を示しています。

充実したパイプラインとHopper限定の制約

コードベースにはPrefixLMシーケンスパッキング、FlashAttention 3、PyTorch FSDP2による分散学習、データサンプリングから評価、形式変換までのパイプラインが整っており、検証済みDockerイメージも用意されています。

ただし、実際に動かすには明確なハードルが存在します。アテンション処理がFlashAttention 3に依存しているため、動作環境はNVIDIA H100などのHopper世代GPUに限定されます。一般的な民生用GPUやA100では、そのまま学習パイプラインを走らせることはできません。

また、評価フェーズでも通常は80GBのVRAMを積んだGPUが1基必要になります。エコシステム面では、Hugging Face Transformersのネイティブサポートが次期リリースに向けてマージ済みで、vLLMへの対応は現在進行中とされています。

なぜ重要か

私たちは、HRM-Textの最大の価値はベンチマークのスコアそのものよりも、「独自の基盤モデルをゼロから作る権利」を一般の開発者の手に引き戻した点にあると考えます。

これまで小規模なスタートアップや大学の研究室は、他社が作った基盤モデルの追加学習に頼らざるを得ませんでした。しかし、わずか1000ドル強の予算と数日の時間でフルスクラッチ学習ができるなら、自前の独自データに最適化された推論コアを直接生み出す実験が現実味を帯びてきます。

業界全体にとっても、データを無限に増やし続けるスケーリング則至上主義に対する有効なオルタナティブとなります。潜在空間の再帰処理を深めることで、わずか400億トークンでも高い推論精度を引き出せることを実証した意味は小さくありません。

課題としては、この階層型再帰構造が7Bや70Bといった中〜大規模サイズにスケールした際にも同様の優位性を保てるかが未知数な点です。また、Hopper世代GPUへの強い依存も敷居を上げています。それでも、法外な計算資源の壁を崩す具体的な突破口を示したという点で、非常に注目に値する一手です。