スタンフォード大ら、50ドル未満でo1級の推論モデル「s1」を開発　コードを公開

s1は、スタンフォード大学とワシントン大学の研究チームが開発したオープンソースの推論特化型AIモデルです。OpenAIのo1やDeepSeekのR1が持つ高度な思考プロセスを、極限まで低いコストで再現することを目的に作られました。

数学やプログラミングのベンチマークにおいて、s1は最先端の推論モデルに匹敵するスコアを記録しています。最大の特徴はその開発コストで、クラウド計算費用は50ドル未満に収まりました。コード、学習データ、モデルの重みはすべてGitHubで公開されています。

どのように実現したか

研究チームは、DeepSeekがR1で用いたような大規模な強化学習は使わず、シンプルな教師あり微調整（SFT）とモデル蒸留の手法を選びました。

ベースモデルにはアリババが公開している軽量なQwenを採用。推論能力の抽出元には、Googleが試験提供しているGemini 2.0 Flash Thinking Experimentalを使用しました。学習データは膨大な数ではなく、厳選されたわずか1,000件の設問と、それに対するGeminiの思考ステップのログで構成されています。

学習自体は16基のNvidia H100 GPUを使い、30分足らずで完了しました。チームの研究者であるNiklas Muennighoff氏によると、現在同等の計算資源をレンタルした場合、約20ドルで再現できるといいます。

推論時にモデルにより深く考えさせる工夫もユニークです。思考の過程に「wait（待て）」という単語を挿入することで、モデル自身に検算を促し、より正確な回答を導き出すことに成功しました。

導入方法と注意点

検証や自前での実行を試したい場合、必要なリソースはすべてGitHubから入手できます。小型のQwenがベースになっているため、巨大なインフラを持たない個人開発者でも手軽に扱えます。

ただし商用利用にはハードルがあります。データの抽出元であるGoogleの利用規約は、モデル出力を利用した競合サービスの開発を禁じているためです。また、蒸留は既存の能力を安く引き継ぐ手段であり、元のGeminiを超えるような新しい知性を生み出すわけではありません。

なぜ重要か

個人開発者や小規模な研究者にとって、s1は数百万ドルの開発予算がなくても最先端の推論モデルを手元に引き寄せられることを証明した画期的な事例です。質の高いわずか1,000件のデータさえあれば、コーヒー数杯分のコストで実用的な推論エンジンを仕立て上げられます。

一方で巨額のインフラ投資を続ける大手テック企業にとっては、投じた資本の参入障壁が容易に崩されかねない脅威となります。今後はフリーAPIの利用制限や蒸留対策が一段と強まる契機になりそうです。