TII、1800億パラメータのオープンモデル「Falcon 180B」公開　PaLM 2匹敵

Falcon 180Bは、UAEの技術イノベーション研究所（TII）が公開した1800億パラメータを誇るオープン言語モデルだ。オープンアクセス可能なモデルとしては最大級の規模となる。

MetaのLlama 2 70Bの2.5倍のサイズを持ち、3.5兆トークンに及ぶデータを用いてAmazon SageMaker上で約700万GPU時間を費やして学習された。各種ベンチマークではLlama 2 70BやOpenAIのGPT-3.5を上回り、Googleの商用モデルPaLM 2-Largeに肩を並べる水準に達している。

モデルの構造と学習背景

アーキテクチャ面では先行するFalcon 40Bをベースにしており、スケーラビリティを高めるためにマルチクエリアテンションを採用している。

学習データの約85%はTIIが独自にクリーニングしたRefinedWebデータセットで構成され、残りは高品質な対話ログや技術論文、そして約3%のコードデータだ。データセットが膨大であるため、3.5兆トークンを消費しても1エポックに満たない。

提供されるのはベースモデルとチャット向けチューニングモデルの2種類だ。ベースモデルは追加学習の土台に適しており、チャットモデルはシンプルな対話プロンプト形式ですぐにやり取りを試すことができる。

動作環境と性能評価

公開時点で、Hugging FaceのOpen LLM Leaderboardにおいて68.74スコアを記録し首位を獲得した。MMLUではLlama 2 70Bを超え、HellaSwagやLAMBADA、ARCなどの主要テストでPaLM 2-Largeと互角の結果を示している。総合的にはGPT-3.5とGPT-4の間に位置する実力だ。

ただし、実際に動かすためのハードウェア要求は非常に高い。BF16またはFP16での推論には640GBのVRAMが必要で、80GB版A100が8枚求められる。4-bit量子化を適用しても320GBのVRAMが必要となり、40GB版A100が8枚必要だ。

フルファインチューニングにはA100 80GBが64枚必要だが、QLoRAを用いればA100 80GBが2枚あれば調整可能だ。8-bitおよび4-bitの量子化モデルでも性能低下がほとんど見られない点は、運用時の救いと言える。

利用方法と商用利用の制約

Hugging FaceのTransformers 4.33以降にアップデートすることで、tiiuae/falcon-180Bから直接ウェイトを読み込んで利用できる。自前でGPUを用意できない場合でも、Hugging Face Spaces上で提供されているFalcon Chat Demoからブラウザ経由で動作を体験できる。

利用にあたって最も注意すべきはライセンス条項だ。重み自体は公開されているものの、商用利用には厳しい制限があり、特にモデルのホスティングサービス提供は明確に禁止されている。API提供などを考えている組織は事前の法務確認が不可欠だ。

なぜ重要か

Falcon 180Bの登場は、膨大な計算資源と高品質なデータセットさえ揃えば、オープン陣営でも大手の独占モデルに対抗できることを実証した。

しかし、推論だけにA100が8枚必要な点やホスティングを禁じるライセンス条件を考慮すると、個人開発者や中小企業が日常的に導入できるツールではない。潤沢なインフラを持ち、プロプライエタリなクラウドAPIへの依存を避けたい大手企業や研究機関にとっての強力な選択肢と見るべきだろう。