オープンLLM「Falcon」がHugging Faceに登場、商用利用可能に

Falcon は、アブダビのテクノロジーイノベーション研究所（TII）が開発したオープンソースの言語モデルファミリーです。400億パラメータの Falcon-40B と70億パラメータの Falcon-7B で構成され、Apache 2.0 ライセンスのもとで完全な商用利用が認められています。公開時点で、Falcon-40B は Hugging Face の Open LLM Leaderboard で LLaMA-65B を抑えて首位を獲得しました。

ベースモデルに加えて、対話タスク向けに調整された Falcon-7B-Instruct と Falcon-40B-Instruct も提供されています。さらに、TII は学習データの核となった RefinedWeb から 6000 億トークン分の抽出データをオープンソースとして公開しています。

仕組みとアーキテクチャ

Falcon の強みの源泉は学習データにあります。事前学習データの80%以上は、CommonCrawl をベースに徹底的な重複排除と厳格なフィルタリングを施した RefinedWeb で構成されています。Falcon-7B は 1.5 兆トークン、Falcon-40B は 1 兆トークンで学習されており、LLaMA-65B の約半分の計算資源で高いスコアを達成しました。

もう一つの大きな特徴が Multi-Query Attention の採用です。従来の仕組みとは異なり、すべてのヘッドで Key と Value を共有することで、推論時の KV キャッシュを10倍から100倍削減します。コンテキスト長 2048 の場合、LLaMA-65B のキャッシュサイズが 5400MB であるのに対し、Falcon-40B はわずか 240MB、Falcon-7B は 20MB に収まります。

動作環境と動かし方

Falcon-7B は約 15GB の GPU メモリで動作するため、コンシューマー向け GPU で推論やファインチューニングが可能です。また、Core ML 版も用意されており、M1 MacBook Pro 上でローカル動作させることもできます。

Falcon-40B の場合、通常の bfloat16 では約 90GB のメモリが必要で、80GB の A100 単体には収まりません。ただし、8ビット量子化を行えば約 45GB に抑えられ、48GB の A6000 で動作します。4ビット量子化なら約 27GB まで削減でき、30GB や 40GB クラスのカードで扱えるようになります。

実装面では Hugging Face の transformers に対応していますが、新しいアーキテクチャのため読み込み時に trust_remote_code=True の指定が必要です。プロダクション環境には Text Generation Inference（TGI）が用意されています。

なぜ重要か

これまで最高峰の性能を持つオープンモデルの多くは、研究目的に限定されたライセンスに縛られていました。Falcon-40B は Apache 2.0 で自由に商用利用できるうえ、ベンチマークで既存の大型モデルを上回る実力を示しています。

独自のチャットボットや社内検索システムを構築したい企業にとって、商用リスクなしで使える最有力候補となります。特に Multi-Query Attention による推論メモリの劇的な削減は、実際のサービス運用コストを大きく引き下げる要因になります。