跳到正文
IFAI

开源项目

Meta 推出 Purple Llama:开源安全评测基准与 Llama Guard 防护模型

首次发布 传播指数 47

Meta 宣布启动 Purple Llama 项目,为开源生成式 AI 提供安全评测与防护工具。首批上线内容包括业内首套大模型网络安全评估基准,以及负责检测与过滤风险内容的 Llama Guard 基础模型,均开放商用与研究授权。

Meta 推出 Purple Llama:开源安全评测基准与 Llama Guard 防护模型
图:about.fb.com

Purple Llama 是 Meta 推出的开源安全工具套件,专门帮开发者在使用开源生成式 AI 时做风险评测和安全防护。

这个名字借用了网络安全领域的「紫队」(Purple Teaming)概念,也就是把进攻性的红队攻防和防御性的蓝队策略结合起来,既测试模型哪里容易被利用,也搭建对应的防御机制。

套件里的组件都采用宽松许可,允许免费用于学术研究和商业落地。

它包含哪些核心工具

首批上线的套件主要覆盖两件事:网络安全评测与内容过滤。

在网络安全方面,它提供了业界首套通用的 LLM 网络安全评估基准。这套工具能帮开发者量化大模型潜藏的网络安全风险,检测模型输出不安全代码建议的频率,并评估模型是否容易被诱导生成恶意代码或协助发起黑客攻击。

在内容防护方面,Meta 开放了一个名为 Llama Guard 的专用基础模型。它在混合公开数据集上训练完成,专门负责检查模型的输入 Prompt 和生成的输出结果,自动识别和拦截常见类型的违规或风险内容。

除了模型本身,Meta 还公开了相关论文和技术方法。开发者可以直接采用默认配置,也可以根据自己的业务规范调整规则,微调出适合自己的定制版本。

怎么用起来

套件已经向社区开放,合作伙伴包括 Hugging Face、AWS、Google Cloud、Microsoft、Nvidia 和 AI Alliance 等机构。

开发者可以直接获取相关代码与 Llama Guard 权重,阅读技术论文了解评测指标,并将其集成到自己的大模型推理流水线中作为安全审查网关。

为什么重要

开源大模型过去最让人头疼的就是安全合规问题,很多团队既没有精力自己养安全团队做红蓝攻防,也没有现成的防护模型可用。

Purple Llama 和 Llama Guard 把这套过去只有头部大厂才有的安全拦截和量化评测体系直接开源,还允许商业使用。如果你正在基于开源大模型做对外服务,或者开发写代码的辅助插件,这套工具非常值得直接拿来当现成的安全围栏。

来源 (1)

  1. [1]
    about.fb.com(在新标签页打开)原文about.fb.com

每日 AI 内容精选