跳到正文
IFAI

开源项目

Meta 发布 Llama 3.3 70B:用 70B 成本跑出 405B 性能

首次发布 传播指数 49

Meta 正式发布纯文本模型 Llama 3.3 70B。官方称其通过最新后训练技术,以更低成本实现了 405B 旗舰模型的性能,并在 MMLU 等基准测试中超越 GPT-4o。模型已可在 Hugging Face 等平台下载商用。

Meta 发布 Llama 3.3 70B:用 70B 成本跑出 405B 性能
图:techcrunch.com

Llama 3.3 70B 是 Meta 最新开源的纯文本大模型,核心卖点很简单:让你用 70B 模型的显存和部署成本,跑出此前 405B 顶级旗舰的性能。

这意味着你不再需要动用极其昂贵的计算集群,就能在本地或私有云中获得行业第一梯队的文本处理与推理能力。

它能做什么

根据 Meta 生成式 AI 副总裁 Ahmad Al-Dahle 公布的数据,Llama 3.3 70B 在多项行业基准测试中表现亮眼。在衡量语言理解综合能力的 MMLU 上,它直接超越了 Google 的 Gemini 1.5 Pro、OpenAI 的 GPT-4o 以及亚马逊新推出的 Nova Pro。

Meta 官方表示,该模型在数学计算、常识问答、复杂指令遵循以及应用调用等方面都有明显提升。

对于需要搭建高可靠智能体、处理复杂工作流的团队来说,它提供了一个几乎没有缩水的通用语言底座。

怎么做到的与开源限制

把 405B 级别的战力塞进 70B 体积里,关键在于后训练技术的进步。

Al-Dahle 透露,团队这次利用了包括在线偏好优化在内的最新后训练方案,在不盲目堆叠参数的前提下,大幅压榨并提炼了模型的核心潜能。

目前 Llama 3.3 70B 的权重已经在 Hugging Face 和 Llama 官网全面开放下载。

授权协议依然延续了 Meta 的惯例:对绝大多数开发者和企业免费开放商用,但月活跃用户超过 7 亿的超大型平台,必须单独向 Meta 申请许可。

为什么重要

如果你手头有本地部署或私有化微调的需求,Llama 3.3 70B 是目前最值得立刻上手测试的开源模型。在此之前,405B 模型虽然强大,但极高的硬件门槛让大多数中小型团队望而却步;70B 的规格则让主流的多卡服务器重新有了用武之地。

我们认为,这一步把开源阵营的实用性价比推到了新高度。它证明了纯靠后训练的精细打磨,开源小尺寸模型也能在基准上硬刚顶级商业闭源模型,给开发者提供了一个真正好用且跑得起的独立备选。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

每日 AI 内容精选