Hugging Face 开源模型进驻 Amazon Bedrock:83 款模型直接部署
Hugging Face 宣布其 83 款热门开源模型上线 Amazon Bedrock Marketplace。底层端点由 SageMaker JumpStart 托管,可无缝接入 Bedrock 的 Agents、知识库与护栏等 API。开发者只需支付 SageMaker 算力与标准 Bedrock API 费用。

如果你以前在 AWS 上搭生成式 AI 应用,经常会陷入一种别扭的二选一。
想图省事用 Bedrock 现成的智能体和知识库,就只能选官方支持的那几家闭源或大牌模型。想用 Hugging Face 上各种灵活好用的开源模型,又得一头扎进 SageMaker 去配实例、管端点。
Hugging Face 宣布其社区的热门开源模型正式登陆 AWS 全新的 Bedrock Marketplace。首批直接上架了 83 个开源模型,覆盖支持 Bedrock Marketplace 的 14 个 AWS 区域。
披着 Bedrock 外衣的 SageMaker
这次打通的底层逻辑很有意思。在控制台里,你看到的是统一的 Bedrock 模型目录,但点开部署后,底层的模型端点其实全交给了 Amazon SageMaker JumpStart 来托管。
你可以直接在 Bedrock 目录里按 Hugging Face 筛选,比如选一个 Google Gemma 2 27B Instruct,选好推荐的 ml.g5.48xlarge 实例规格,同意许可协议,几分钟就能拉起一个专用端点。
端点跑起来之后,拿到的不是复杂的底层接口,而是一个端点 ARN。你可以直接用 Bedrock 原生的 Converse API 传参调用,就像在调 Claude 或 Titan 一样。
更关键的是,这些开源模型能直接接入 Bedrock 的高阶生态,包括 Agents 智能体、Knowledge Bases 知识库、Guardrails 安全护栏以及模型评估工具。
算力自负,记得关机
计费规则也很直白:你是在租用 SageMaker 的底层计算实例,所以需要按实例时长支付算力费用,同时叠加 Bedrock 常规的 API 调用费用。
这也带来了一个典型的运维细节:这些开源模型并不是无服务器按 token 计费的 Serverless 模式。哪怕你一个请求没发,只要端点开着,GPU 实例就在持续烧钱。
官方在教程最后还特意叮嘱了一句:做完实验千万别忘了手动点击删除端点。
为什么重要
对企业和开发者来说,这省掉了大量胶水代码。
以前开源模型落地最烦的是工程配套。你想给一个开源模型加上企业敏感词过滤、外挂向量检索、或者做自动化 Agent,要么自己在 LangChain 里硬写,要么到处搭服务。现在直接套用 Bedrock 成熟的 Guardrails 和 Knowledge Bases,开源模型的企业化门槛被拉低了一大截。
对 AWS 自己来说,这也是把过去两套有些脱节的产品线生生拼齐了。一边是做底层 MLOps 的 SageMaker,一边是主打轻量全托管的 Bedrock。AWS 看起来没有硬去把 83 个开源模型都做成按量付费的 Serverless 服务,而是用 JumpStart 当垫脚石,把算力成本和显存闲置风险转嫁给用户,同时把生态红利收进了 Bedrock。
我们认为这个折中方案非常务实,但它现在的代价也很明显。它依然需要用户承担独占 GPU 实例的底噪成本,更适合调用量稳定、对数据隐私和定制化有强要求的企业业务,对个人开发者临时玩票或者低频应用来说,钱包压力依然不小。
来源 (1)
- huggingface.co(在新标签页打开)原文huggingface.co