HRM-Text:花 1000 美元就能從零預訓練 1B 推理模型
Sapient Intelligence 開源 HRM-Text 預訓練框架,主打用約 1000 美元算力從零訓練 1B 引數推理模型。它基於分層迴圈架構,號稱算力減少 130 至 600 倍、資料需求降至千分之一,在 GSM8k 達到 84.7%。目前全套程式碼已在 GitHub 按 Apache 2.0 開源。
Sapient Intelligence 開源 HRM-Text 預訓練框架,主打用約 1000 美元算力從零訓練 1B 引數推理模型。它基於分層迴圈架構,號稱算力減少 130 至 600 倍、資料需求降至千分之一,在 GSM8k 達到 84.7%。目前全套程式碼已在 GitHub 按 Apache 2.0 開源。