跳到正文
IFAI

AI科研

斯坦福联手华大造出 s1:成本不到 50 美元的开源推理模型

首次发布 传播指数 37

斯坦福大学与华盛顿大学研究人员推出开源推理模型 s1。该模型以 Qwen 开源小模型为底座,通过监督微调蒸馏 Google Gemini 的推理过程,仅耗费不到 50 美元算力便在数学和编程评测中追平 OpenAI o1,代码与数据已开源。

斯坦福联手华大造出 s1:成本不到 50 美元的开源推理模型
图:techcrunch.com

s1 是斯坦福大学与华盛顿大学研究人员开源的一款轻量级推理模型,目标是用极低成本复制类似 OpenAI o1 和 DeepSeek-R1 的复杂推理与长思维链能力。

在数学和编程能力的基准测试中,s1 拿出了与顶尖推理模型相近的水平。整个项目最大的看点在于极致的性价比:训练它只花了不到 50 美元的云端算力,相关代码、训练数据和模型权重已全部在 GitHub 上公开。

它是怎么做到的

s1 没有采用 DeepSeek-R1 那样昂贵的大规模强化学习,而是选了一条极简路线:小规模监督微调(SFT)加模型蒸馏。

研究团队选择阿里巴巴开源的 Qwen 小模型作为底座,然后从 Google 开放的 Gemini 2.0 Flash Thinking Experimental 中提取推理数据。他们没有盲目堆砌数据量,而是极其克制地只筛选了 1,000 道高质量题目,并完整收录了 Gemini 在给出答案前的具体思考步骤。

算力消耗方面,团队使用 16 张英伟达 H100 显卡,不到 30 分钟就完成了全部微调。参与该项目的斯坦福研究员 Niklas Muennighoff 表示,如果放在今天去租用对应算力,花费甚至可以压缩到大约 20 美元。

为了让小模型在解题时学会反复推敲,团队还用了一个非常聪明的技巧。他们在模型的推理过程中硬塞入了一个单词「wait」,强行拉长模型的思考时间、诱导它进行二次核对,最终成功换来了更高的答题准确率。

怎么上手与使用限制

如果你想自己动手部署或复现,项目的代码、用于微调的 1,000 条数据集以及模型本身都可以在 GitHub 上直接获取。因为基于参数量不大的 Qwen 底座,个人开发者使用常规算力就能跑起来。

不过在尝试商业化落地时需要格外谨慎。该模型的数据直接来自 Google 的 Gemini 实验版本,而 Google 的服务条款明确禁止抓取模型输出去制造竞品。此外,蒸馏方案的本质是模仿先验智慧,s1 能把现有的推理逻辑学得很像,但无法凭空诞生出超越源头模型的全新智能。

为什么重要

对于个人开发者和中小研究团队来说,s1 证明了推理模型不一定非得依赖巨头专属的数百万美元军备竞赛。只要底座模型过关,配上一千条精挑细选的高质量思维链,两杯咖啡的钱就能微调出一个解题高手。

这篇研究很可能会改变接下来端侧小模型的开发范式。它让大厂意识到,耗费巨资训练出的前沿模型很容易被低成本截流。未来闭源大模型对 API 和免费测试界面的防蒸馏限制,恐怕会变得更加严苛。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

每日 AI 内容精选