跳到正文
IFAI

开源项目

微博开源 VibeThinker-1.5B:仅花 7800 美元,数学推理逼近大模型

首次发布 传播指数 46

微博 AI 开源 15 亿参数模型 VibeThinker-1.5B,总训练成本仅 7800 美元。该模型在 AIME24 等数学基准上超越早期 DeepSeek R1,展现出极高的参数效率。官方建议将其用于英文算法题与竞赛数学,暂不推荐日常通用任务。

微博开源 VibeThinker-1.5B:仅花 7800 美元,数学推理逼近大模型
图:huggingface.co

VibeThinker-1.5B 是微博 AI 开源的一个 15 亿参数小模型,专门用来啃高难度的算法题和竞赛数学题。

它的总训练成本只有 7800 美元,底座基于 Qwen2.5-1.5B 构建。别看它体量小,跑出来的推理成绩却直接冲着大模型去了。

它能做什么

微博 AI 给它的定位非常明确,就是用来做高难度的数学推导与算法编程,比如解决 LeetCode 和 Codeforces 风格的题目。

在基准测试中,它的表现相当亮眼。在 AIME24、AIME25 和 HMMT25 三个数学竞赛基准上,它分别拿下了 80.3、74.4 和 50.4 分。

这个成绩全面超越了参数量是其 400 多倍的早期 DeepSeek R1,后者的三项得分分别为 79.8、70.0 和 41.7 分。官方表示它的推理表现已经能媲美 GPT OSS-20B Medium。

在代码生成方面,它在 LiveCodeBench v5 拿到 55.9 分,在 v6 拿到 51.1 分,略微领先 Magistral Medium 的 50.3 分。

不过要说明的是,这是一个探索小模型极限的实验性项目。官方明确提醒,它目前只适合用英文提问竞赛数学和代码题,不建议拿来做日常的闲聊、写作或通用任务。

怎么做到的与怎么跑起来

能用不到 8000 美元训出这种推理能力,核心在于微博团队采用的「频谱到信号原则」(SSP)训练框架。

简单来说,团队在监督微调阶段先让模型探索足够多样的解题路径,把思路放开;随后在强化学习阶段再去粗取精,强化正确的解题信号。

这种以多样性为核心的设计,让一个 1.5B 级别的小模型走出了极高的参数效率。

如果你想自己部署玩玩,门槛非常低。模型仓库采用 MIT 协议完全开源,权重已经在 Hugging Face 和 ModelScope 上架,技术报告也同步放上了 arXiv。

由于参数量只有 15 亿,普通消费级显卡甚至轻薄设备都能轻松加载。官方支持 Transformers、vLLM 和 SGLang 部署,也提供了 Docker 镜像。

官方建议将推理时的最大 token 长度拉到 40960,温度参数设为 0.6 或 1.0,让模型有充分的空间展开长链条思考。

为什么重要

对于打竞赛、刷题的开发者或者想在端侧跑专业推理的人来说,VibeThinker-1.5B 是个非常趁手的小玩具。你不需要租用昂贵的多卡算力,在单张入门显卡上就能获得过去大模型才有的复杂推导体验。

更重要的是,它证明了高强度推理并不一定非得靠堆叠千亿参数来解决。通过更巧妙的训练策略,小模型在特定垂直领域的智商完全可以越级挑战。不过它的短板同样明显:偏科极其严重,出了算法和数学的圈子就很难正常工作。但如果你的目标只是低成本搞定特定逻辑任务,它绝对值得你立刻拉下来跑一跑。

来源 (1)

  1. [1]
    huggingface.co(在新标签页打开)原文huggingface.co

每日 AI 内容精选