HRM-Text：花 1000 美元就能从零预训练 1B 推理模型

在大模型预训练动辄烧掉数千万美元的今天，从零训一个基座模型听起来像是只有大厂才玩得起的奢侈游戏。但如果有人告诉你，只要花一部旗舰手机的钱，就能在两天内从空白权重训出一个数学推理能力相当扎实的 1B 模型呢？

Sapient Intelligence 在 GitHub 上开源了 HRM-Text 的全套预训练框架。这个基于 Apache 2.0 协议的项目主打用大约 1000 美元的算力，从零预训练一个 1B 参数的文本生成与推理模型。项目同时放出了代码、训练配置以及评估工具。

拿大脑结构当灵感，把算力压下几百倍

HRM-Text 能够把账单压到千元级，核心在于它抛弃了暴力堆叠数据的传统路线。官方表示，它采用了一种受大脑结构启发的分层循环架构，让模型在隐空间里进行任务完成和深度推理。

按照项目方给出的数据，这种设计把预训练所需的计算量降低了 130 到 600 倍，训练数据量更是砍掉了 150 到 900 倍，只用了大约 400 亿个结构化 token，几乎是同类对比模型数据量的千分之一。

账单算得非常直接。以每张 H100 每小时 2 美元的云算力价格计算，0.6B 参数的 L 规格单机跑 8 张 H100，耗时 50 小时，成本约 800 美元；1B 参数的 XL 规格用两台机器共 16 张 H100，耗时 46 小时，算力花费约 1472 美元。二者都在千元预算上下。

从测试表现来看，这个 1B 的小家伙并不是玩具。官方基准跑分显示，1B 规格在 GSM8k 上拿到了 84.7%，MATH 达到 56.5%，MMLU 达到 60.7%，DROP 更是测出 82.3%。对于一个参数量仅 10 亿、训练数据量如此克制的模型来说，这一成绩已经足以正面硬刚许多体量更大的传统模型。

工具链齐备，但硬件门槛卡得挺死

在工程实现上，团队做得很扎实。它集成了 PrefixLM 序列打包机制、FlashAttention 3、PyTorch FSDP2 分布式训练，并且自带从数据清洗采样、全参数指令微调到权重转换的完整管线，甚至默认给出了开箱即用的 Docker 镜像。

不过，想自己复现也有硬性门槛。因为底层注意力计算强依赖 FlashAttention 3 内核，训练目标平台直接限定在 Hopper 架构 GPU。普通开发者手里的消费级显卡或者老款 A100 基本无法直接跑原版训练流程。

此外，跑评估脚本时通常需要一张 80GB 显存的显卡。生态集成方面，原生 Hugging Face Transformers 的兼容代码刚合并进下一个版本发布，针对 vLLM 的原生推理支持目前还在施工中。

为什么重要

我们认为，HRM-Text 最吸引人的地方，不是它的跑分有多惊艳，而是它把「训练属于自己的基座模型」的门槛从云端拉回了地面。

对高校实验室、独立开发者以及特定垂直领域的小团队来说，以前微调是唯一的选择，预训练根本不用想。现在只要一两千美元预算和两天时间，你就能拿自己的私有结构化数据，从第一行权重开始训一个专用推理核心，试错成本被直接击穿。

对整个行业而言，它也敲响了一记警钟：暴力堆数据的单调扩展定律并不是唯一出路。通过把部分注意力开销转移到循环隐空间推理，用极小的数据集换取极高的推理效率，证明了算法结构的创新依然有巨大的红利可以挖。

不过也要清醒地看到，这种极度特化的循环架构究竟能不能顺畅扩展到 7B 甚至 70B，目前谁也说不准。它现在对 Hopper 架构的强依赖，也让很多手头硬件有限的人只能先在一旁观望。但不管怎样，它至少给那些被高昂算力壁垒挡在门外的团队，撕开了一条看得见光亮的缝隙。