跳到正文
IFAI

AI工具

Hugging Face 开源模型进驻 Amazon Bedrock:83 款模型直接部署

首次发布 传播指数 35

Hugging Face 宣布其 83 款热门开源模型上线 Amazon Bedrock Marketplace。底层端点由 SageMaker JumpStart 托管,可无缝接入 Bedrock 的 Agents、知识库与护栏等 API。开发者只需支付 SageMaker 算力与标准 Bedrock API 费用。

Hugging Face 开源模型进驻 Amazon Bedrock:83 款模型直接部署
图:huggingface.co

如果你以前在 AWS 上搭生成式 AI 应用,经常会陷入一种别扭的二选一。

想图省事用 Bedrock 现成的智能体和知识库,就只能选官方支持的那几家闭源或大牌模型。想用 Hugging Face 上各种灵活好用的开源模型,又得一头扎进 SageMaker 去配实例、管端点。

Hugging Face 宣布其社区的热门开源模型正式登陆 AWS 全新的 Bedrock Marketplace。首批直接上架了 83 个开源模型,覆盖支持 Bedrock Marketplace 的 14 个 AWS 区域。

披着 Bedrock 外衣的 SageMaker

这次打通的底层逻辑很有意思。在控制台里,你看到的是统一的 Bedrock 模型目录,但点开部署后,底层的模型端点其实全交给了 Amazon SageMaker JumpStart 来托管。

你可以直接在 Bedrock 目录里按 Hugging Face 筛选,比如选一个 Google Gemma 2 27B Instruct,选好推荐的 ml.g5.48xlarge 实例规格,同意许可协议,几分钟就能拉起一个专用端点。

端点跑起来之后,拿到的不是复杂的底层接口,而是一个端点 ARN。你可以直接用 Bedrock 原生的 Converse API 传参调用,就像在调 Claude 或 Titan 一样。

更关键的是,这些开源模型能直接接入 Bedrock 的高阶生态,包括 Agents 智能体、Knowledge Bases 知识库、Guardrails 安全护栏以及模型评估工具。

算力自负,记得关机

计费规则也很直白:你是在租用 SageMaker 的底层计算实例,所以需要按实例时长支付算力费用,同时叠加 Bedrock 常规的 API 调用费用。

这也带来了一个典型的运维细节:这些开源模型并不是无服务器按 token 计费的 Serverless 模式。哪怕你一个请求没发,只要端点开着,GPU 实例就在持续烧钱。

官方在教程最后还特意叮嘱了一句:做完实验千万别忘了手动点击删除端点。

为什么重要

对企业和开发者来说,这省掉了大量胶水代码。

以前开源模型落地最烦的是工程配套。你想给一个开源模型加上企业敏感词过滤、外挂向量检索、或者做自动化 Agent,要么自己在 LangChain 里硬写,要么到处搭服务。现在直接套用 Bedrock 成熟的 Guardrails 和 Knowledge Bases,开源模型的企业化门槛被拉低了一大截。

对 AWS 自己来说,这也是把过去两套有些脱节的产品线生生拼齐了。一边是做底层 MLOps 的 SageMaker,一边是主打轻量全托管的 Bedrock。AWS 看起来没有硬去把 83 个开源模型都做成按量付费的 Serverless 服务,而是用 JumpStart 当垫脚石,把算力成本和显存闲置风险转嫁给用户,同时把生态红利收进了 Bedrock。

我们认为这个折中方案非常务实,但它现在的代价也很明显。它依然需要用户承担独占 GPU 实例的底噪成本,更适合调用量稳定、对数据隐私和定制化有强要求的企业业务,对个人开发者临时玩票或者低频应用来说,钱包压力依然不小。

来源 (1)

  1. [1]
    huggingface.co(在新标签页打开)原文huggingface.co

每日 AI 内容精选