跳到正文
IFAI

大模型

Anthropic 发布 Claude 3 系列:最强版 Opus 跑分反超同行

首次发布 传播指数 56

Anthropic 正式推出 Claude 3 系列模型,分为 Haiku、Sonnet 与 Opus 三款。最强型号 Opus 在多项基准测试中超越竞品,全系支持视觉输入与 200K 上下文。这意味着大模型竞争进入新阶段。目前 Opus 和 Sonnet 已上线,Haiku 即将推出。

Anthropic 发布 Claude 3 系列:最强版 Opus 跑分反超同行
图:anthropic.com

过去大半年里,几乎所有人都在拿自家新模型和 GPT-4 比,但能在基准测试上真正全面压制它的,一直没出现。

直到 3 月 4 日,Anthropic 正式端出了 Claude 3 系列。这次他们一口气拿出三款新模型,直接按照能力梯队排开:最小最快的叫 Haiku,中间主力叫 Sonnet,最顶格的超大杯叫 Opus。

目前 Opus 和 Sonnet 已经上线,覆盖了 159 个国家和地区的 API 以及 claude.ai 网页端,最小的 Haiku 随后就来。

跑分反超,连测试是人工塞的都能看出来

发布会最扎眼的数据都在超大杯 Opus 身上。在衡量本科级专业知识的 MMLU、研究生级推理的 GPQA 以及数学基准 GSM8K 上,Opus 的跑分全部盖过了同台竞品,包括 GPT-4。

除了常规的文本理解,整个 Claude 3 家族这次全面补齐了视觉能力。企业用户平时塞进去的 PDF、技术图表、流程图和幻灯片,它们现在都能直接看懂。

速度方面,中间档的 Sonnet 处理速度是 Claude 2 的两倍,适合做日常客服检索;而主打小巧的 Haiku 更夸张,读一篇一万 token 且带图表的 arXiv 论文,耗时不到三秒。

更有意思的是大海捞针测试。在海量文档里找隐藏句子的测试中,Opus 的召回准确率超过了 99%。

甚至在测试过程中,Opus 还指出了题目本身的破绽。它在回答时顺口提到,这句话看起来像是人类为了做测试故意插在正文里的,因为它和周围讨论的主题完全不搭界。

此外,老版本 Claude 最让人头疼的毛病是过于保守,动不动就因为敏感词直接拒答。Anthropic 这次专门优化了边界理解,无害提示词的误拒率大幅下降,回答的事实准确率也比 Claude 2.1 翻了一番。

初始版本支持 200k 上下文窗口,底层能力其实能吃下 100 万 token,后续会定向开放给大算力客户。

为什么重要

大模型市场苦 GPT-4 独大久矣,Opus 的出现第一次证明了,在最前沿的通用推理能力上,OpenAI 并不是不可战胜的。

对于个人用户和开发者来说,现在就可以直接去试试。免费网页版默认用上了 Sonnet,响应速度和日常任务处理能力都比老版本舒服得多;开通 Pro 会员或者调 API 的话,Opus 拿来读长篇论文、啃复杂财报和处理带图资料,体验完全值得现在就换过来。

从产品设计来看,Anthropic 这次划分为高中低三档的做法非常聪明。之前 Claude 2 虽然能读长文本,但速度偏慢且极其死板;现在让 Haiku 拼极致低延迟、Sonnet 兼顾企业大吞吐量性价比、Opus 负责攻坚高难度推理,精准切中了不同业务的预算痛点。

不过隐患也显而易见。Opus 这种体量的模型,推理成本和算力消耗注定不便宜,在持续的高并发场景下,Anthropic 能不能顶住算力压力还得打个问号。但无论如何,这场发布已经把压力彻底踢回给了 OpenAI,逼着大家把下一代旗舰模型更快拿出来。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

话题追踪Anthropic Claude 3 系列

这个话题的历次新闻,最新的在上面。

  1. Claude 3 Opus 登顶 Chatbot Arena:首次超越 GPT-4 终结一年霸榜
  2. Anthropic 发布 Claude 3 系列:最强版 Opus 跑分反超同行本条

每日 AI 内容精选