Snowflake 開源 Arctic LLM：480B 稀疏架構專攻企業 SQL 與程式設計

Snowflake 剛剛開源了 Arctic LLM，這是一個專門用來寫資料庫程式碼、生成 SQL 和搭建企業助手的開源大模型，採用寬鬆的 Apache 2.0 協議，允許免費商用和研究。

它不打算像通用大模型那樣去寫詩或者閒聊，核心目標就是解決企業內部跟資料打交道的髒活累活。

它是怎麼做到的

Arctic LLM 採用了混合專家（MoE）架構，總引數量高達 4800 億（480B），但每次處理請求時只會啟用其中的 170 億（17B）引數，用來排程 128 個專門的專家子模型。

這種設計讓它的計算效率非常高。Snowflake 透露，訓練 Arctic 只用了大約 1000 張 GPU，耗時 3 個月，花費約 200 萬美元。官方稱其訓練成本只有同類模型的八分之一左右，訓練資料來自 RefinedWeb、C4、RedPajama 和 StarCoder 等開源公開資料集。

根據 Snowflake 公佈的測試結果，在企業最關心的 SQL 生成和程式設計任務上，Arctic 的表現壓過了 Databricks 之前釋出的 DBRX，也優於 Meta 的 Llama 2 70B 和 Mistral 的 Mixtral-8x7B，不過並未超越最新的 Llama 3 70B。此外，它在通用的 MMLU 基準測試上也拿到了領先的分數。

硬體門檻與上手限制

雖然 Arctic 是開源的，但 480B 的體量決定了它不是能在普通電腦或單卡上跑起來的玩具。開發者想要自行部署或進行微調，大約需要 8 張企業級 GPU。

另一個明顯的短板是上下文長度。根據不同的微調方式，Arctic 的上下文視窗在 8000 到 24000 個詞之間。這比起 Gemini 1.5 Pro 或者 Claude 3 Opus 的超長上下文來說確實偏小，處理超大文件或超長對話時容易丟失更早的資訊，同樣也無法避免大模型普遍存在的幻覺問題。

如果你不想自己折騰昂貴的顯示卡叢集，Snowflake 已經把模型開放到了 Hugging Face、微調平臺 Lamini、Together AI 以及 Microsoft Azure 上，程式碼模板和訓練來源清單也一併公開。同時，Snowflake 自家的 Cortex 平臺也將其作為首發和首選託管環境。

為什麼重要

對於日常被寫 SQL 和查報表折磨的企業技術團隊來說，Arctic 提供了一個不被單一閉源巨頭繫結的開源商用解法。如果你手頭有現成的高配叢集，或者正在搭建企業級 SQL Copilot，它確實值得拉下來跑跑基準。

不過，480B 的總體量和 8 卡的執行門檻依然把絕大多數獨立開發者擋在了門外。說白了，Arctic 表面上是開源模型，底層依然是 Snowflake 用來吸引客戶使用其 Cortex 雲端託管服務的生態敲門磚。除非有極其嚴格的資料不出境合規要求，一般團隊選擇雲端託管介面可能更省心。