Weibo AI、7800ドルで訓練した推論特化モデル「VibeThinker-1.5B」をオープンソース公開

VibeThinker-1.5Bは、Weibo AIがオープンソースで公開した15億パラメータの超軽量な推論特化型言語モデルです。競技プログラミングや難関数学の難問をローカル環境で解かせるために作られました。

総トレーニング費用はわずか7800ドルで、ベースモデルにはQwen2.5-1.5Bを採用しています。サイズは小さいながら、大型モデルに匹敵する推論能力を発揮します。

何ができるのか

VibeThinker-1.5Bの用途は、LeetCodeやCodeforcesスタイルのアルゴリズム問題や競技数学に絞り込まれています。

ベンチマークのスコアは驚異的です。数学コンテストの基準であるAIME24、AIME25、HMMT25において、それぞれ80.3点、74.4点、50.4点を記録しました。

これは、パラメータ数が400倍以上もある初期のDeepSeek R1のスコア（79.8、70.0、41.7）をすべて上回る結果です。公式発表では、GPT OSS-20B Mediumクラスに迫る推論力を実現したとされています。

コード生成テストのLiveCodeBenchでも、v5で55.9点、v6で51.1点を叩き出し、Magistral Mediumの50.3点を上回りました。

ただし、このモデルは小規模モデルの推論限界を探る実験的リリースです。日常会話や汎用タスクには向いておらず、英語でプロンプトを入力した際に最も真価を発揮します。

仕組みと動かし方

7800ドルという超低予算でこの性能を引き出せた鍵は、独自の「Spectrum-to-Signal Principle（SSP）」という学習設計にあります。

まず教師ありファインチューニング（SFT）の段階で解法の多様性を徹底的に広げ、その後の強化学習（RL）で正しい解法シグナルを集中的に強化しました。

試すためのハードルは非常に低いです。ライセンスはMITで、Hugging FaceやModelScopeで重みが配布されており、技術レポートもarXivで閲覧できます。

1.5Bサイズなので、民生用の手頃なGPUでも軽快に動作します。Transformersのほか、vLLMやSGLangでのサービングに対応しており、Dockerイメージも用意されています。

公式は長文の思考プロセスを確保するため、生成トークン数を最大40960に設定し、temperatureを0.6または1.0にすることを推奨しています。

なぜ重要か

競技プログラミングに取り組む開発者や、手元のPCで高度な論理推論を試したい人にとって、今すぐ触る価値のあるツールです。高価なクラウドAPIやマルチGPU環境がなくても、単体GPUで本格的な推論ステップを検証できます。

パラメータ数をひたすら増やすのではなく、多様性を重視した強化学習の工夫によって、小型モデルでも特定分野で巨大モデルを凌駕できることが示されました。汎用タスクには使えない極端な偏りはあるものの、数学やアルゴリズムに特化した専用エンジンとしては非常に有用な選択肢です。