UCバークレー、450ドルで学習できる推論モデル「Sky-T1」を完全公開

Sky-T1-32B-Previewは、OpenAIのo1-previewに匹敵する推論力とコーディング能力を、わずか450ドル未満の学習コストで実現した完全オープンソースの推論モデルだ。

開発したのはUCバークレーのNovaSkyチームだ。大手企業の推論モデルがブラックボックス化しているのに対し、本プロジェクトは32Bモデルの重みだけでなく、学習コード、評価パイプライン、そして1.7万件の精選データセットまで全て公開している。

450ドルでどうやって作ったのか

巨額の予算でゼロから学習するのではなく、スマートな蒸留と微調整のアプローチを取った。ベースモデルにはオープンソースのQwen2.5-32B-Instructを採用し、8基のH100環境でLlama-FactoryとDeepSpeed Zero-3を用いて学習させた。所要時間は19時間、Lambda Cloudの費用換算で450ドル足らずだ。

勝因はデータの質にある。まずアリババのQwQ-32B-Previewを使って推論過程を生成し、正解と照合するリジェクションサンプリングを実施した。数学問題は正解と完全一致するものだけを残し、コーディング問題はユニットテストを通過したものだけを選別した。

さらにGPT-4o-miniを使って推論ログの出力フォーマットを統一した。推論モデルは解答の途中にコードを埋め込みがちで評価スクリプトが正しく拾えない問題があったが、フォーマット整形だけで一部ベンチマークの正解率が25%から90%以上へ跳ね上がったという。最終データは数学1万件、コード5000件、科学パズル1000件で構成されている。

性能とわかった限界

性能面では主要な難関テストでo1-previewと互角に渡り合っている。米国の数学競技AIME 2024では正答率43.3%を記録し、o1-previewの40.0%やベースモデルの16.7%を上回った。LiveCodeBench-Hardでも17.9%と、o1-previewの16.3%をわずかに超えている。

一方で博士レベルの科学知識を問うGPQA-Diamondでは56.8%にとどまり、o1-previewの75.2%には及ばなかった。

また7Bや14Bといった小型モデルで試したところ、同じ思考を反復してしまうループ現象が起き、32B未満へのスケールダウンは現時点ではうまくいっていない。モデルやデータはGitHubおよびHugging Faceから直接試すことができる。

なぜ重要か

長大な思考プロセスを伴うAI推論は、巨大テック企業しか作れないという前提をSky-T1は覆した。優れたベースモデルと厳格なデータフィルタリングがあれば、数十万円程度のクラウド費用で同等の能力が手に入ることが実証されたからだ。

独自に推論モデルを立ち上げたい開発者や研究者にとって、全工程のレシピが公開された意義は大きい。APIの仕様変更やトークン制限に縛られず、自社の専門データを使って手元で特化型推論AIを育てる道が一気に現実味を帯びてきた。