微软携手 Meta:Llama 2 进驻 Azure,并支持 Windows 本地运行
Microsoft 宣布与 Meta 扩大合作,成为 Llama 2 商业化的首选合作伙伴。Azure 客户现可直接微调和部署 7B、13B 和 70B 参数的 Llama 2;同时该模型针对 Windows 做了优化,开发者可通过 ONNX Runtime 在本地 PC 运行。

Llama 2 是 Meta 最新推出的大语言模型家族,包含 7B、13B 和 70B 三种参数规格。和上一代最大的不同是,它这次正式开放了商用许可。借助 Microsoft 的深度支持,你不仅可以在 Azure 云端一键调用和微调,还能直接把它装进 Windows PC 本地跑起来。
这意味着如果你想给自己的产品塞进一个生成式 AI 助手,既不用完全依赖闭源 API,也不用自己从头去折腾底层环境搭建。
它能做什么,怎么跑起来
在云端,Llama 2 已经进驻 Azure AI 的模型目录(Model Catalog)。这个目录目前处于公开预览状态,核心作用就是替你省去处理各种环境和依赖项的麻烦。
企业和开发者可以直接挑选 7B、13B 或 70B 版本,在云上做推理测试或定制微调。目录里直接内置了 DeepSpeed 和 ONNX Runtime 等优化加速工具,能够显著缩短微调所需的时间。
针对生成式 AI 容易「胡说八道」或输出违规内容的问题,Azure 将 Meta 自身的安全过滤机制与 Azure AI Content Safety 服务做了结合。在云端部署时,系统默认提供分层防护。你可以用自己的样本数据测试效果,再配合提示词工程和 RAG 检索增强生成,给应用搭一套更稳妥的防护网。
如果你不想把数据传上云端,也可以选择纯本地运行。Windows 已经对 Llama 2 进行了专门优化,开发者可以通过 ONNX Runtime 配合 DirectML 执行提供程序,把模型跑在本地硬件上。
具体的模型代码可以通过 GitHub 仓库获取。如果你手头有一台配了高性能 GPU 的 Windows PC,配合 Windows Subsystem for Linux(WSL)、Windows Terminal 以及 VS Code,甚至可以直接在单机上完成特定场景的微调和推理,整个开发工作流完全不需要离开桌面环境。
为什么重要
对不想把业务全部绑死在闭源 API 上的开发者和中小团队来说,Llama 2 配上 Azure 和 Windows 是目前门槛最低的商用开源落地组合之一。你既有云端现成的微调与安全工具兜底,又保留了用本地算力跑私有数据的退路。
我们认为 Microsoft 这步棋下得非常务实。虽然它手里握着 OpenAI 的王牌,但很多企业对数据出境和隐私顾虑重重。把顶尖的开源商用模型拉进自己的生态,等于把「想要开箱即用」和「坚持自建可控」的两拨客户全留在了 Azure 和 Windows 体系里。不过本地跑 13B 乃至 70B 依然对显卡配置有硬性要求,大部分轻量团队更适合先在云端小样验证,再考虑本地化落地。
来源 (1)
- blogs.microsoft.com(在新标签页打开)原文blogs.microsoft.com