HRM-Text：花 1000 美元就能從零預訓練 1B 推理模型

在大模型預訓練動輒燒掉數千萬美元的今天，從零訓一個基座模型聽起來像是隻有大廠才玩得起的奢侈遊戲。但如果有人告訴你，只要花一部旗艦手機的錢，就能在兩天內從空白權重訓出一個數學推理能力相當紮實的 1B 模型呢？

Sapient Intelligence 在 GitHub 上開源了 HRM-Text 的全套預訓練框架。這個基於 Apache 2.0 協議的專案主打用大約 1000 美元的算力，從零預訓練一個 1B 引數的文本生成與推理模型。專案同時放出了程式碼、訓練配置以及評估工具。

拿大腦結構當靈感，把算力壓下幾百倍

HRM-Text 能夠把賬單壓到千元級，核心在於它拋棄了暴力堆疊資料的傳統路線。官方表示，它採用了一種受大腦結構啟發的分層迴圈架構，讓模型在隱空間裡進行任務完成和深度推理。

按照專案方給出的資料，這種設計把預訓練所需的計算量降低了 130 到 600 倍，訓練資料量更是砍掉了 150 到 900 倍，只用了大約 400 億個結構化 token，幾乎是同類對比模型資料量的千分之一。

賬單算得非常直接。以每張 H100 每小時 2 美元的雲算力價格計算，0.6B 引數的 L 規格單機跑 8 張 H100，耗時 50 小時，成本約 800 美元；1B 引數的 XL 規格用兩臺機器共 16 張 H100，耗時 46 小時，算力花費約 1472 美元。二者都在千元預算上下。

從測試表現來看，這個 1B 的小傢伙並不是玩具。官方基準跑分顯示，1B 規格在 GSM8k 上拿到了 84.7%，MATH 達到 56.5%，MMLU 達到 60.7%，DROP 更是測出 82.3%。對於一個引數量僅 10 億、訓練資料量如此剋制的模型來說，這一成績已經足以正面硬剛許多體量更大的傳統模型。

工具鏈齊備，但硬體門檻卡得挺死

在工程實現上，團隊做得很紮實。它集成了 PrefixLM 序列打包機制、FlashAttention 3、PyTorch FSDP2 分散式訓練，並且自帶從資料清洗取樣、全引數指令微調到權重轉換的完整管線，甚至預設給出了開箱即用的 Docker 映象。

不過，想自己復現也有硬性門檻。因為底層注意力計算強依賴 FlashAttention 3 核心，訓練目標平臺直接限定在 Hopper 架構 GPU。普通開發者手裡的消費級顯示卡或者老款 A100 基本無法直接跑原版訓練流程。

此外，跑評估指令碼時通常需要一張 80GB 視訊記憶體的顯示卡。生態整合方面，原生 Hugging Face Transformers 的相容程式碼剛合併進下一個版本釋出，針對 vLLM 的原生推理支援目前還在施工中。

為什麼重要

我們認為，HRM-Text 最吸引人的地方，不是它的跑分有多驚豔，而是它把「訓練屬於自己的基座模型」的門檻從雲端拉回了地面。

對高校實驗室、獨立開發者以及特定垂直領域的小團隊來說，以前微調是唯一的選擇，預訓練根本不用想。現在只要一兩千美元預算和兩天時間，你就能拿自己的私有結構化資料，從第一行權重開始訓一個專用推理核心，試錯成本被直接擊穿。

對整個行業而言，它也敲響了一記警鐘：暴力堆資料的單調擴充套件定律並不是唯一齣路。通過把部分注意力開銷轉移到迴圈隱空間推理，用極小的資料集換取極高的推理效率，證明了演算法結構的創新依然有巨大的紅利可以挖。

不過也要清醒地看到，這種極度特化的迴圈架構究竟能不能順暢擴充套件到 7B 甚至 70B，目前誰也說不準。它現在對 Hopper 架構的強依賴，也讓很多手頭硬體有限的人只能先在一旁觀望。但不管怎樣，它至少給那些被高昂算力壁壘擋在門外的團隊，撕開了一條看得見光亮的縫隙。