Snowflake 开源 Arctic LLM：480B 稀疏架构专攻企业 SQL 与编程

Snowflake 刚刚开源了 Arctic LLM，这是一个专门用来写数据库代码、生成 SQL 和搭建企业助手的开源大模型，采用宽松的 Apache 2.0 协议，允许免费商用和研究。

它不打算像通用大模型那样去写诗或者闲聊，核心目标就是解决企业内部跟数据打交道的脏活累活。

它是怎么做到的

Arctic LLM 采用了混合专家（MoE）架构，总参数量高达 4800 亿（480B），但每次处理请求时只会激活其中的 170 亿（17B）参数，用来调度 128 个专门的专家子模型。

这种设计让它的计算效率非常高。Snowflake 透露，训练 Arctic 只用了大约 1000 张 GPU，耗时 3 个月，花费约 200 万美元。官方称其训练成本只有同类模型的八分之一左右，训练数据来自 RefinedWeb、C4、RedPajama 和 StarCoder 等开源公开数据集。

根据 Snowflake 公布的测试结果，在企业最关心的 SQL 生成和编程任务上，Arctic 的表现压过了 Databricks 之前发布的 DBRX，也优于 Meta 的 Llama 2 70B 和 Mistral 的 Mixtral-8x7B，不过并未超越最新的 Llama 3 70B。此外，它在通用的 MMLU 基准测试上也拿到了领先的分数。

硬件门槛与上手限制

虽然 Arctic 是开源的，但 480B 的体量决定了它不是能在普通电脑或单卡上跑起来的玩具。开发者想要自行部署或进行微调，大约需要 8 张企业级 GPU。

另一个明显的短板是上下文长度。根据不同的微调方式，Arctic 的上下文窗口在 8000 到 24000 个词之间。这比起 Gemini 1.5 Pro 或者 Claude 3 Opus 的超长上下文来说确实偏小，处理超大文档或超长对话时容易丢失更早的信息，同样也无法避免大模型普遍存在的幻觉问题。

如果你不想自己折腾昂贵的显卡集群，Snowflake 已经把模型开放到了 Hugging Face、微调平台 Lamini、Together AI 以及 Microsoft Azure 上，代码模板和训练来源清单也一并公开。同时，Snowflake 自家的 Cortex 平台也将其作为首发和首选托管环境。

为什么重要

对于日常被写 SQL 和查报表折磨的企业技术团队来说，Arctic 提供了一个不被单一闭源巨头绑定的开源商用解法。如果你手头有现成的高配集群，或者正在搭建企业级 SQL Copilot，它确实值得拉下来跑跑基准。

不过，480B 的总体量和 8 卡的运行门槛依然把绝大多数独立开发者挡在了门外。说白了，Arctic 表面上是开源模型，底层依然是 Snowflake 用来吸引客户使用其 Cortex 云端托管服务的生态敲门砖。除非有极其严格的数据不出境合规要求，一般团队选择云端托管接口可能更省心。