MIT発のLiquid AI、非Transformer基盤モデル「LFM」を発表

AI業界全体がトランスフォーマー偏重の競争に明け暮れるなか、MIT発のスタートアップが根本から異なるアプローチを提示しました。

マサチューセッツ工科大学のCSAIL出身研究者らが立ち上げたLiquid AIは、非トランスフォーマー型の基底モデル群「Liquid Foundation Models（LFM）」を発表しました。2017年の「Attention Is All You Need」以来主流だった仕組みを使わず、独自の液態ニューラルネットワークをベースに構築されています。

動的システム理論や信号処理などの数学的手法を組み合わせることで、従来の深層学習よりも大幅に少ない計算素子でデータを効率処理できるのが特徴です。

メモリ消費を3分の1に抑える独自設計

今回発表されたのは、用途に合わせた3つのバリエーションです。

最も小型のLFM-1B（パラメータ数13億）は、エッジ端末などの制約環境向けです。MMLUやARC-Cといった主要ベンチマークでMetaのLlama 3.2-1.2BやマイクロソフトのPhi-1.5を上回るスコアを記録しました。

中位モデルのLFM-3B（31億パラメータ）は、スマートフォンやドローン、ロボットなどでの動作を想定しています。特筆すべきは長文処理時の省メモリ性能で、同規模のMeta製Llama-3.2-3Bが48GB以上のメモリを要する場面でも、わずか16GBで処理可能です。

最大規模のLFM-40Bは403億パラメータのMoE（専門家混合）モデルで、クラウド上の複雑なエンタープライズ処理を担います。最大100万トークンの長大なコンテキストに対応可能とされています。

高い適応性の一方で非オープンソース

テキストだけでなく音声、動画、センサー信号など多様な時系列データをネイティブに扱える点も強みです。金融やバイオテクノロジー、家電などへの応用が見込まれています。

Liquid AIでポストトレーニングを率いるMaxime Labonne氏はXで、同等サイズのトランスフォーマーをメモリ効率と性能の両面で凌駕したと成果を強調しました。ただし重みは公開されておらず、利用は同社プレイグラウンドやLambda Chat、Perplexity AI経由に限られます。

なぜ重要か

エッジAIやロボティクスを開発するエンジニアにとって、この効率性は大きな武器になります。これまで高価なクラウドGPUが必須だった長文解析や連続シグナル処理が、16GB程度のローカルメモリで動くなら、ハードウェア構成も通信コストも劇的に見直せるはずです。Perplexityなどで実際の推論精度をテストしてみる価値は十分にあります。

業界全体にとっても、トランスフォーマー一強の現状に風穴を開ける試みとして注目に値します。メモリ帯域の枯渇をひたすら高価なGPUの物量作戦で解決してきた巨大テックに対し、アルゴリズムの根本的な刷新で対抗できる可能性を示しました。

ただし、この戦略がそのまま商業的成功につながるかは未知数です。MetaがLlamaをオープンソースにして開発者コミュニティを囲い込んだのに対し、Liquid AIは独自アーキテクチャのまま非公開を選びました。既存のエコシステムやツール群がトランスフォーマーに最適化されている現状で、閉源モデルのまま企業ユーザーを乗り換えさせられるかが最大の障壁になると考えられます。