跳到正文
IFAI

AI工具

NVIDIA 详解 AI Foundry:像台积电代工芯片一样,帮企业定制大模型

首次发布 传播指数 32

NVIDIA 详解了企业服务 AI Foundry 的运作模式。它依托 DGX Cloud 算力与 NeMo 平台,支持企业基于 Llama 3.1 等开源底座微调并打包为 NIM 微服务。这相当于为企业提供大模型代工,让没有顶尖算法团队的公司也能落地专属模型。

NVIDIA 详解 AI Foundry:像台积电代工芯片一样,帮企业定制大模型
图:blogs.nvidia.com

台积电帮全世界代工芯片,现在英伟达也想做同样的事,只不过它代工的不是硅片,而是大模型。

英伟达详细拆解了自家的企业服务 NVIDIA AI Foundry。简单来说,它把自己定位成 AI 时代的代工厂,企业拿着自己的私有数据走进来,借助英伟达的算力、工具和专家,走出去时就能带走一个专属于自己业务的定制大模型。

像造芯片一样定制模型

大模型虽然聪明,但通用的基础模型往往不懂各行各业的门道,还容易把企业机密泄露出去。英伟达打的算盘,就是让企业不用自己去从头训模型,也不用把核心机密拱手送给通用闭源模型厂商。

在模型库上,这个代工厂支持 Meta 最新开源的 Llama 3.1,还有谷歌的 Gemma 系列、Mistral、微软的 Phi-3 以及英伟达自家的 Nemotron。

硬件底座则是英伟达和亚马逊 AWS、谷歌云、甲骨文 OCI 联合搭建的 DGX Cloud。企业不需要自己掏几千万买服务器搭机房,直接租用云端算力就能开工。

为了把流程跑通,英伟达搬出了整套 NeMo 软件平台。里面分工很细,NeMo Curator 负责用 GPU 加速清洗清洗数据,NeMo Customizer 管微调对齐,NeMo Evaluator 做自动打分,还有 NeMo Guardrails 专门负责对话安全防护,防止 AI 胡说八道。

模型做好了怎么用?英伟达提供了一个叫 NIM 的推理微服务,把模型、底层优化引擎和标准 API 打包在一起。不管企业打算放在戴尔、联想的本地服务器上,还是部署在公有云上,插上就能跑。

目前第一批吃螃蟹的名单里,已经有了 SAP、ServiceNow、Snowflake、现代汽车和第一资本银行。埃森哲甚至基于这个代工厂推出了自己的定制模型服务框架。

为什么重要

我们认为,英伟达这一步走得极其精明,它正试图把自己在硬件上的垄断地位无缝平移到软件和企业服务领域。

对企业来说,通用大模型只是及格线,谁能把私有数据变成懂业务的专有模型,谁才有真正的壁垒。以前企业自己做微调,从洗数据、调参到部署优化,到处都是坑。现在有英伟达的专家和一整套工具托底,至少把门槛拉低了一大截,很适合那些手握关键数据但缺少顶尖 AI 算法团队的传统巨头。

但这里的隐患也很明显。企业一旦走进了这个代工厂,从底层的 DGX 算力、NeMo 软件链条,到部署时的 NIM 容器,整套工作流全被英伟达牢牢绑定。这相当于把企业自身的 AI 生命线,彻底交给了英伟达的生态系统。

对整个行业而言,英伟达不再只是一家卖铁的铲子商人,它开始做起了淘金流水线的设计师。那些单纯做模型微调和 MLOps 的初创公司,未来的日子看起来会越来越难过了。

来源 (1)

  1. [1]
    blogs.nvidia.com(在新标签页打开)原文blogs.nvidia.com

每日 AI 内容精选