オープンソース首位交代：Abacus AIがGPT-3.5超えの「Smaug-72B」公開

Smaug-72Bは、AIスタートアップのAbacus AIが公開した720億パラメータのオープンソース大規模言語モデルだ。プロプライエタリな商用APIを使わずに、オンプレミス環境で高精度な推論を実行したいチームにとって、現在のパブリックベンチマークでトップに立つ有力な選択肢となる。

本モデルはゼロから事前学習されたものではなく、アリババが公開したQwen-72Bをベースにファインチューニングされたものだ。Hugging FaceのOpen LLMリーダーボードにおいて、オープンソースモデルとして史上初めて平均スコア80点の大台を突破した。

何ができるか・ベンチマークのスコア

公式評価によると、Smaug-72Bは主要なベンチマークテストにおいて、ベースとなったQwen-72Bを大きく引き離しただけでなく、OpenAIのGPT-3.5やMistralの商用モデルMistral Mediumをも上回るスコアを記録している。

特に強みを発揮しているのが、論理推論と数学の領域だ。Abacus AIのCEOであるBindu Reddy氏によれば、大規模言語モデルが苦手としやすい推論や計算の弱点を克服するファインチューニング技術を適用したことで、GSM8Kなどの数学タスクで非常に高いスコアを達成できたという。

人間の能力指標とされる90点から100点の水準にはまだ届いていないものの、重みが完全公開されたモデルが標準的な検証環境で商用モデルを凌駕した意義は小さくない。

仕組みと利用方法

今回の性能向上は、Abacus AIが開発した微調手法によるものだ。詳細な技術構成は近日中に研究論文として発表される予定で、今後はLLaMA-2の70B派生モデルであるmiquなど、他の主要なオープンモデルへの技術適用も計画されている。

Smaug-72Bのモデルウェイトは現在Hugging Face上で公開されており、誰でもダウンロードして利用や改変が可能だ。また、開発チームはLMSYSの人間によるブラインドテスト（Chatbot Arena）への提出も予定している。

72Bというサイズのため、フル精度でのローカル推論には高価なGPU環境が必要になるが、量子化技術を用いればワークステーションクラスの環境でも実機検証が可能になる。

なぜ重要か

社内データやプライバシー保護の観点から外部APIを利用できない企業にとって、Smaug-72BはGPT-3.5の置き換え候補として直ちに検証する価値がある。巨額の事前学習コストをかけずとも、洗練されたファインチューニングによってオープンモデルを商用水準まで引き上げられることを証明した点も大きい。

ただし、合成ベンチマークのハイスコアが実務の複雑な対話やエッジケースでの優秀さと完全に一致するとは限らない。本番環境に組み込む前に、自社の実際のプロンプトで精度検証を行うのが賢明だ。