Guide Labsが「Steerling-8B」公開、全トークンの学習元を追跡できる新構造

Steerling-8Bは、米スタートアップのGuide Labsがオープンソースとして公開した80億パラメータの言語モデルだ。生成されたすべてのトークンが、学習データのどの部分に由来しているかを直接追跡できる点が最大の特徴となっている。

一般的なLLMはパラメータが複雑に絡み合ったブラックボックスであり、ハルシネーションや不適切な出力を制御する作業は試行錯誤に頼りがちだった。Steerling-8Bはこの問題を根本的な設計変更で解決しようとしている。

トークンを追跡する仕組み

従来の解釈性研究は、完成したモデルの内部を後から分析する「脳科学」のようなアプローチが主流だった。これに対しGuide Labsは、最初から追跡可能な構造としてモデルを設計した。

モデル内部に「概念層」をあらかじめ組み込み、学習データを追跡可能なカテゴリへと分類して処理する。データのアノテーション作業は増えるものの、別のAIモデルを活用して効率化を図ったという。

これにより、出力された事実の出典を特定できるだけでなく、著作権に関わる表現の遮断や、融資審査などで人種などの不要なバイアスを考慮させないといった制御が確実に行えるようになる。また、こうした構造を取り入れつつも、量子コンピューティングの概念を自律的に理解するなど、LLM特有の創発性も維持されている。

性能と公開状況

パラメータ数は80億で、同規模の既存モデルと比較して約90%の性能を達成している。新しいアーキテクチャのおかげで、同等性能を出すために必要な学習データ量は従来より少なくて済んだという。

現在はオープンソースとしてモデルが公開されている。2024年にシードラウンドで900万ドルを調達した同社は、今後さらに大規模なモデルの構築を進め、APIやエージェント機能の提供も計画している。

なぜ重要か

金融、法務、医療といった規制の厳しい分野でLLMの導入を進めているエンジニアにとって、Steerling-8Bは真っ先に検証する価値がある。監査可能性や出力の根拠説明が義務付けられる実務において、トークン単位で学習元をたどれる仕組みは強力な武器になるからだ。

既存の同クラスモデルに比べて10%程度の性能低下はあるため、汎用的なチャット用途をすぐに置き換えるものではない。しかし、ブラックボックス対策を学術研究から再現性のあるエンジニアリング課題へと変えた意義は大きく、今後の特定用途向けモデルの標準的な設計指針になる可能性がある。