Falcon 模型接入 Hugging Face：40B 登頂開源榜，支援商用

Falcon 是阿布扎比技術創新研究所（TII）開源的一組語言模型，包含 400 億引數的 Falcon-40B 和 70 億引數的 Falcon-7B。它採用 Apache 2.0 許可證釋出，允許免費商用。在開源基準測試 Open LLM Leaderboard 上，Falcon-40B 的基礎版和指令版直接拿下了前兩名，超過了 LLaMA-65B；而 Falcon-7B 也是同體量裡表現最好的模型。

除了基礎模型，官方還放出了微調過的 Falcon-7B-Instruct 和 Falcon-40B-Instruct，適合直接拿來做對話和助手類任務。此外，官方還開源了其訓練資料集中抽取出的 6000 億 token 的 RefinedWeb 資料集，供社群訓練自己的模型。

它是怎麼做到的

Falcon 效能出色的核心在於資料質量。與以往模型依賴大量分散的人工精選資料不同，Falcon 超過 80% 的預訓練資料來自 RefinedWeb。TII 通過對 CommonCrawl 進行大規模去重和嚴格過濾，證明了高質量的網路資料足以支撐頂級大模型的訓練。在訓練量上，7B 模型訓練了 1.5 萬億 token，40B 模型訓練了 1 萬億 token。

架構設計上，Falcon 採用了 Multi-Query Attention。傳統的注意力機制每個注意力頭都有獨立的 Key 和 Value，而 Multi-Query 則是所有頭共享一組 Key 和 Value。這讓自迴歸解碼過程中的 KV 快取大幅縮水 10 到 100 倍。在 2048 上下文長度下，Falcon-40B 的 KV 快取只有 240MB，而 LLaMA-65B 需要 5400MB；Falcon-7B 的 KV 快取更是低至 20MB。

硬體要求與上手方式

Falcon-7B 的視訊記憶體需求大約在 15GB 左右，消費級顯示卡可以直接跑推理和微調。社群甚至做出了 Core ML 版本，可以在 M1 MacBook Pro 上本地跑起來。如果想在伺服器上跑，直接選一張 Nvidia A10G 就可以部署。

Falcon-40B 在全精度 bfloat16 下需要約 90GB 視訊記憶體，單張 80GB 的 A100 裝不下。不過通過 8 位量化，視訊記憶體可以壓到 45GB，能塞進一張 48GB 的 A6000 裡；如果用 4 位量化，視訊記憶體佔用約為 27GB，能在 30GB 或 40GB 視訊記憶體的顯示卡上執行。

使用 Hugging Face 的 transformers 庫呼叫時，需要注意兩點：模型是用 bfloat16 訓練的，建議推理也用該精度；另外由於採用了新架構，載入時需要設定 trust_remote_code=True。想要高併發部署的，可以用 Hugging Face 的 Text Generation Inference（TGI）容器，或者在 Inference Endpoints 上一鍵拉起。

為什麼重要

在此之前，開源社群裡效能強勁的模型大多帶著非商用許可，想要在商業產品裡落地總是繞不開法律風險。Falcon-40B 不僅在客觀基準測試上超越了 LLaMA-65B，更重要的是它徹底放開了 Apache 2.0 許可證，讓中小團隊無需申請授權就能直接商用。

我們認為，對於需要自建對話助手、注重資料隱私或有特定領域微調需求的企業，Falcon 幾乎是目前最值得優先嚐試的開源基底。它的 Multi-Query Attention 讓大併發下的推理成本降低了一個數量級，這一點在生產環境中比跑分更有實際價值。不過由於架構較新，舊版推理框架可能需要一定適配工作，這是上手前需要考慮的工程成本。