跳到正文
IFAI

大模型

Thinking Machines 開源 Inkling-Small:啟用 12B,表現反超大號前代

首次發布 傳播指數 51

Thinking Machines 開源多模態模型 Inkling-Small,總引數 276B、啟用僅 12B。其計算成本僅為 Inkling 的約四分之一,並在推理與智慧體編碼等測試中反超大模型,同時原生支援圖文音與 1M 上下文。

Thinking Machines 開源 Inkling-Small:啟用 12B,表現反超大號前代
圖:thinkingmachines.ai

Inkling-Small 是 Thinking Machines 開源的多模態 MoE 模型,總引數 276B,推理時只啟用 12B。它只用大約四分之一的算力成本,就在多項基準上打平甚至反超了大號前代 Inkling,同時原生支援文本、影像與音訊輸入,並提供最高 1M 的上下文視窗。

目前官方已經公開了完整權重,並在 Tinker 上開放了微調與線上體驗。

它能做什麼

Inkling-Small 的核心亮點在於小體積下的推理與智慧體編碼能力。

在無工具純文本推理測試 Humanity's Last Exam(HLE)中,它拿下了 31.6% 的得分,直接超過了初代大號 Inkling 的 29.7%。在編碼基準 SWEBench-Verified 上,它的成績超過了 80%,在 Terminal Bench 2.1 上也達到了 64.7%。

模型還支援可變思考預算,你可以根據業務場景在輸出成本與思考深度之間隨時微調。

在多模態方面,Inkling-Small 延續了無編碼器的原生多模態架構。音訊會被轉化為 dMel 聲譜圖,影像則拆分成 40×40 的切片並由四層 hMLP 處理,最後統一與文本 token 一起計算。

它還能在視覺任務中呼叫 Python 程式碼,自動完成區域性裁剪、縮放與 programmatic 檢查,大幅提升了對複雜圖表與文件小字的處理精度。

怎麼跑起來與硬體門檻

能以小博大,主要得益於訓練流程的改進。

團隊調整了預訓練資料配比,並讓早期的預覽版檢查點以大號 Inkling 為教師進行同策略蒸餾,隨後又追加了兩週的智慧體編碼強化學習。不過在事實性與知識廣度上,它依然遜於大號模型,SimpleQA 表現相對較弱。

如果你想本地部署,門檻其實不算低。

雖然每次推理只啟用 12B 引數,但總權重依然超過 200B。據第三方評測實測,整個權重檔案體積高達 532 GB,普通工作站根本吃不消,通常需要堆疊多張專業計算卡或 DGX 級別的機器才能跑通。

不想折騰硬體的話,可以直接去 Hugging Face 下載權重,或者在 Tinker Playground 網頁端直接測試文本、影像和音訊對話。

為什麼重要

對於需要私有化部署多模態智慧體的團隊來說,Inkling-Small 是個非常值得關注的選手。尤其是當你的工作流既需要讀懂音訊、看懂圖表,又需要跑程式碼呼叫命令列時,開源社群裡能打的選項本就不多。

我們認為,Inkling-Small 證明了「大模型蒸餾加定向強化學習」可以在特定任務上徹底榨乾小啟用架構的潛力。它的純文本常識可能比不上頂尖基座,但論工程實用性與執行價效比,它已經給同體量的開源模型樹立了極高的新標杆。

來源 (2)

  1. [1]
    thinkingmachines.ai(在新分頁開啟)原文thinkingmachines.ai
  2. [2]
    youtube.com(在新分頁開啟)報導youtube.com

每日 AI 內容精選