Adaption、モデル学習ループを完全自動化する「AutoScientist」公開

最先端の大規模言語モデルを意図通りに学習・調整できる専門家は、世界でも1000人に満たないとされている。そのノウハウの多くは少数の大手研究所内に囲い込まれており、外部の多くの開発者はプロンプト調整で妥協せざるを得なかった。

元CohereのAI研究担当VPであるSara Hooker氏が率いるスタートアップAdaptionは5月13日、モデルの訓練・微調・アライメントの全研究ループを自動化するシステム「AutoScientist」を発表した。

職人技だったファインチューニングを自動化

一般的な環境でのファインチューニングは失敗することが多い。過去の知識が抜け落ちる破滅的忘却や、小規模データでの過学習、矛盾する学習シグナルが原因だ。

AutoScientistは、同社のデータ基盤「Adaptive Data」を活用し、入力データと学習レシピ（ハイパーパラメータ設定）を同時に最適化する。モデルが目的とする挙動に収束するまで両者を自動反復させる仕組みだ。

開発者は何週間もパラメータ調整に張り付く必要がなくなり、半日ほどで独自データを反映した専用モデルを構築できるという。

人間研究者との直接対決で勝率64%を記録

社内研究者を相手取った対決テストで、AutoScientistは明確な優位性を示した。人間が設定した構成の勝率が48%だったのに対し、AutoScientistは勝率64%を記録した。

すべての試行における平均性能は、人間の研究者が設定した学習と比べて35%向上した。テストは8つの業界領域、5000から10万件のデータセット規模で実施され、Together AI上でホストされるファインチューニング対象モデルが用いられた。

Hooker氏がTechCrunchに語ったところによると、特定領域への過学習は見られず、汎用的な性能向上が確認されているという。本ツールは公開後30日間、無料で提供される。

なぜ重要か

独自データを抱える企業やエンジニアにとって、高額なプロプライエタリAPIへの依存から抜け出す足がかりになる。推論コスト削減のために小型モデルを微調整したくても、専門の機械学習チームを雇えない組織にとって、30日間の無料期間は試す価値が大きい。

業界全体としては、最先端研究所の最大の強みだった「調教ノウハウ」のコモディティ化が進む可能性がある。パラメータ探索とデータ選別が自動化されれば、差別化の源泉は職人技から目的設定そのものへと移る。

データと学習レシピを別々に扱わず、協調して最適化するアプローチは非常に合理的だと考えられる。ただし、SWE-Benchのような標準ベンチマークではなく、同社独自の評価指標に基づいた結果である点には留意が必要だ。実環境の粗悪なデータでも同様に35%の性能向上が得られるかは、今後のユーザー検証次第だろう。