跳到正文
IFAI

大模型

Thinking Machines 开源 Inkling-Small:激活 12B,表现反超大号前代

首次发布 传播指数 51

Thinking Machines 开源多模态模型 Inkling-Small,总参数 276B、激活仅 12B。其计算成本仅为 Inkling 的约四分之一,并在推理与智能体编码等测试中反超大模型,同时原生支持图文音与 1M 上下文。

Thinking Machines 开源 Inkling-Small:激活 12B,表现反超大号前代
图:thinkingmachines.ai

Inkling-Small 是 Thinking Machines 开源的多模态 MoE 模型,总参数 276B,推理时只激活 12B。它只用大约四分之一的算力成本,就在多项基准上打平甚至反超了大号前代 Inkling,同时原生支持文本、图像与音频输入,并提供最高 1M 的上下文窗口。

目前官方已经公开了完整权重,并在 Tinker 上开放了微调与在线体验。

它能做什么

Inkling-Small 的核心亮点在于小体积下的推理与智能体编码能力。

在无工具纯文本推理测试 Humanity's Last Exam(HLE)中,它拿下了 31.6% 的得分,直接超过了初代大号 Inkling 的 29.7%。在编码基准 SWEBench-Verified 上,它的成绩超过了 80%,在 Terminal Bench 2.1 上也达到了 64.7%。

模型还支持可变思考预算,你可以根据业务场景在输出成本与思考深度之间随时微调。

在多模态方面,Inkling-Small 延续了无编码器的原生多模态架构。音频会被转化为 dMel 声谱图,图像则拆分成 40×40 的切片并由四层 hMLP 处理,最后统一与文本 token 一起计算。

它还能在视觉任务中调用 Python 代码,自动完成局部裁剪、缩放与 programmatic 检查,大幅提升了对复杂图表与文档小字的处理精度。

怎么跑起来与硬件门槛

能以小博大,主要得益于训练流程的改进。

团队调整了预训练数据配比,并让早期的预览版检查点以大号 Inkling 为教师进行同策略蒸馏,随后又追加了两周的智能体编码强化学习。不过在事实性与知识广度上,它依然逊于大号模型,SimpleQA 表现相对较弱。

如果你想本地部署,门槛其实不算低。

虽然每次推理只激活 12B 参数,但总权重依然超过 200B。据第三方评测实测,整个权重文件体积高达 532 GB,普通工作站根本吃不消,通常需要堆叠多张专业计算卡或 DGX 级别的机器才能跑通。

不想折腾硬件的话,可以直接去 Hugging Face 下载权重,或者在 Tinker Playground 网页端直接测试文本、图像和音频对话。

为什么重要

对于需要私有化部署多模态智能体的团队来说,Inkling-Small 是个非常值得关注的选手。尤其是当你的工作流既需要读懂音频、看懂图表,又需要跑代码调用命令行时,开源社区里能打的选项本就不多。

我们认为,Inkling-Small 证明了「大模型蒸馏加定向强化学习」可以在特定任务上彻底榨干小激活架构的潜力。它的纯文本常识可能比不上顶尖基座,但论工程实用性与运行性价比,它已经给同体量的开源模型树立了极高的新标杆。

来源 (2)

  1. [1]
    thinkingmachines.ai(在新标签页打开)原文thinkingmachines.ai
  2. [2]
    youtube.com(在新标签页打开)报道youtube.com

每日 AI 内容精选