TII 釋出開源模型 Falcon 180B：1800 億引數，效能看齊 PaLM 2

Falcon 180B 是阿聯酋技術創新研究院（TII）推出的開源大語言模型，擁有 1800 億引數，直接刷平了開源模型的規模紀錄。

它不僅規模是 Meta 旗下 Llama 2 70B 的 2.5 倍，而且訓練時灌進去了 3.5 萬億 token 的資料，消耗了大約 700 萬個 GPU 小時。在各項綜合測試中，它的表現超過了 Llama 2 70B 和 OpenAI 的 GPT-3.5，基本能看齊 Google 的閉源模型 PaLM 2-Large。

它是怎麼煉成的

Falcon 180B 沿用了之前 Falcon 40B 的架構設計，核心是利用多查詢注意力機制（Multiquery Attention）來提升長文本處理和推理擴充套件能力。

訓練資料方面，大約 85% 來自 TII 自家清洗的 RefinedWeb 網路資料集，其餘是高質量對話、技術論文以及約 3% 的程式碼。因為預訓練資料極其龐大，3.5 萬億 token 跑完甚至還不足完整的一輪週期。

TII 這次同時放出了預訓練基座模型和微調過的對話模型。基座模型適合拿來做下游領域微調，對話版本則套用了簡單的多輪對話提示格式，方便開發者開箱即用。

硬體要求與效能表現

效能上，Falcon 180B 在釋出時的 Hugging Face 開源大模型排行榜上跑出 68.74 分，穩坐第一。在 MMLU 測試中它超越了 Llama 2 70B，在 HellaSwag、LAMBADA、ARC 等基準測試裡則咬平了 PaLM 2-Large。整體實力介於 GPT-3.5 與 GPT-4 之間。

不過，把這隻巨獸跑起來代價極高。如果是原始精度（BF16 或 FP16）做推理，需要 640GB 視訊記憶體，至少要準備 8 張 80GB 視訊記憶體的 A100。哪怕用 int4 量化，也需要 320GB 視訊記憶體，也就是 8 張 40GB 的 A100。

想要自己做全引數微調，得堆出 64 張 A100 80GB；如果用 QLoRA 技術微調，門檻能降到 2 張 A100 80GB。好訊息是，8-bit 和 4-bit 量化後的模型在各項基準測試裡幾乎沒有掉點，推理速度上 8-bit 會比 4-bit 更快一些。

怎麼上手和限制

只要把 Hugging Face 的 Transformers 升級到 4.33 以上版本，就可以通過 Python 程式碼直接呼叫 tiiuae/falcon-180B。官方生態已經支援 safetensors 權重格式、bitsandbytes 量化以及 PEFT 高效微調。

普通使用者如果只是想體驗，可以直接訪問 Hugging Face Space 上的 Falcon Chat 線上演示，不需要自己掏錢租卡。

特別需要看清楚的是許可證。雖然 Falcon 180B 公開開放權重，但商用條款非常苛刻，明確排除了任何提供模型託管服務的商業模式。想把它打包成 API 賣錢或者對外提供推理服務的團隊，務必先讓法務評估風險。

為什麼重要

我們認為，Falcon 180B 證明了單靠規模擴充套件和乾淨的預訓練資料，開源陣營完全有能力把效能推到逼近頂級閉源模型的水平。它讓不想依賴 OpenAI 和 Google 商業 API 的機構多了一個重量級選擇。

不過對絕大多數開發者和中小團隊來說，這更像是一塊效能燈塔而非日常工具。單次推理就需要 8 張高階顯示卡，加上禁止商業託管的協議限制，它的實際落地成本極高。眼下真正有能力用好它的，主要是那些算力充沛、需要在私有環境中做深度定製的研究機構與大型企業。