Thinking MachinesがInkling-Small公開、活性化12Bで大型モデル超え

Inkling-Smallは、Thinking Machinesが公開したオープンウェイトのマルチモーダルMoEモデルだ。総パラメータ数は276Bながら、推論時に活性化するのはわずか12Bにとどまる。大型の前代モデルInklingと比べて計算コストを約4分の1に削減しつつ、主要な推論やコーディングタスクでは大型版と同等以上の性能を発揮する。テキスト、画像、音声の入力をネイティブ処理でき、最大1Mトークンのコンテキストウィンドウに対応している。

完全なモデルウェイトがすでに公開されているほか、Tinker上でファインチューニングやチャット機能を利用できる。

何ができるのか

特筆すべきは、少ない活性化パラメータで叩き出す高度な推論力とエージェント機能だ。

外部ツールを使わないテキスト推論ベンチマークHumanity's Last Exam（HLE）において、31.6%を記録し、大型版Inklingの29.7%を上回った。コーディング評価のSWEBench-Verifiedでも80%を超え、Terminal Bench 2.1では64.7%を達成している。

タスクやコストに応じて思考の深さを微調整できる可変思考機能も備える。

マルチモーダル処理には、エンコーダを用いないネイティブアーキテクチャを採用した。音声はdMelスペクトログラム、画像は40×40パッチに変換され、テキストトークンと同じ空間で直接処理される。さらにPythonを実行して画像をクロップや拡大しながら細部を解析する機能を持ち、図表や書類の認識精度を高めている。

動かすための環境とスペック

この効率性は、Inklingを教師としたオンポリシー蒸留と、2週間にわたるエージェントコーディング強化学習によって実現された。ただし、事実性や知識の網羅性に関しては大型モデルに分があり、SimpleQAなどのスコアは控えめだ。

ローカルで運用する場合、ハードウェアの要求水準は高い。

推論時の活性化は12Bだが、総パラメータ276Bを保持するため、ファイルサイズは実測で約532GBに達する。動かすにはDGXクラスのマルチGPU環境が必要になる。

大規模なハードウェアを用意できない場合は、Tinker Playgroundのウェブ上でテキスト、画像、音声を試すか、Hugging Faceからウェイトを入手してクラウド環境で動かすのが現実的だ。

なぜ重要か

音声認識や視覚推論を伴うコーディングエージェントを自社運用したい開発者にとって、待望の選択肢になる。商用APIに頼らず、これだけ高度な音声対応とツール利用をこなせるオープンモデルは極めて貴重だ。

今回の成果は、蒸留と事後強化学習を突き詰めることで、スパースMoEがフラッグシップ級の知能をはるかに低い計算資源で再現できることを示した。一般的な知識量には妥協が必要だが、実用的なエージェント構築という観点では極めて賢い設計と言える。