HRM-Text：約1000ドルの計算資源で1B推論モデルをゼロから事前学習
Sapient Intelligenceは10億パラメータの推論モデル向け事前学習フレームワーク「HRM-Text」をオープンソース公開した。階層型再帰アーキテクチャにより、計算コストを最大600分の1に削減し、GSM8kで84.7％を記録した。全コードはApache 2.0でGitHubにて利用できる。
Sapient Intelligenceは10億パラメータの推論モデル向け事前学習フレームワーク「HRM-Text」をオープンソース公開した。階層型再帰アーキテクチャにより、計算コストを最大600分の1に削減し、GSM8kで84.7％を記録した。全コードはApache 2.0でGitHubにて利用できる。