Liquid AIが「LFM2-2.6B-Exp」公開：純粋な強化学習で3B級トップ、指示追従で巨大モデル超え

公開 2025年12月25日 13:59 UTC拡散指数 57

Liquid AIは実験的モデル「LFM2-2.6B-Exp」を公開した。純粋な強化学習で構築され、指示追従、知識、数学のベンチマークで他の3Bモデルを上回る。IFBenchスコアでは263倍巨大なDeepSeek R1-0528を凌駕したという。モデルはHugging Faceで配布されている。

LFM2-2.6B-Expは、エッジ端末やノートPC上で軽快に動作する26億パラメータの実験的モデルです。指示への従順さや数学推論の弱さという小型モデルの弱点を克服しており、現在Hugging Faceからモデル重みを直接ダウンロードして試すことができます。

何ができるのか

Liquid AIの発表によると、このモデルは指示追従、知識、数学の各ベンチマークで既存の3Bクラスを軒並み上回る性能を示しています。

特筆すべきは、厳格な制約付き指示の遂行能力を測るIFBenchのスコアです。LFM2-2.6B-Expは、自身の263倍ものパラメータを持つ巨大モデルDeepSeek R1-0528を上回る成績を記録しました。

ベースとなったモデル自体、GSM8Kで82.41%、IFEvalで79.56%を記録し、Llama 3.2 3B InstructやGemma 3 4B it、SmolLM3 3Bをリードしていました。今回のチェックポイントは、その強みをさらに押し広げています。

また、ChatML形式に似たネイティブのツール呼び出しに対応しており、JSONによる定義からPython風の関数実行までをこなします。特殊なthinkトークンによる動的推論にも対応しています。

アーキテクチャの変更ではなく、徹底した純粋強化学習によって性能を引き出しています。すでにSFTやアライメントを済ませたLFM2-2.6Bを土台に、追加の蒸留やSFTを挟まず、検証可能な報酬を用いたRLのみを順次適用しました。

モデル構造には独自のハイブリッド構成が採用されています。全30層のうち22層が短距離LIV畳み込みブロック、8層がグループ化クエリアテンション（GQA）で構成されています。

この設計によりKVキャッシュの消費が大幅に抑えられ、民生用GPUやNPUでも高速な推論が可能です。コンテキスト長は32,768トークン、語彙数は65,536で、英語や日本語、中国語、韓国語などを含むマルチリンガル対応です。

ローカル環境でエージェントを動かしたい開発者にとって、試す価値が十分にある選択肢です。従来の3Bクラスは指示が複雑になると破綻しがちでしたが、このモデルは制約を厳密に守る能力に長けています。

もちろん2.6Bという絶対的なサイズの上限があるため、幅広い一般常識や長文創作では超巨大モデルに及びません。しかし、端末側で決まった役割をこなすツール実行役としては、現在最も実用的な小型モデルのひとつと言えます。