跳到正文
IFAI

大模型

Claude 3.5 Sonnet 支持看懂 PDF 里的图:图表报表直接拆解

首次发布 传播指数 61

Anthropic 为 Claude 3.5 Sonnet 开启 PDF 视觉分析公测,能同时读懂文档里的文字、图表和嵌入图像。单份文件限制在 32 MB 与 100 页以内,每页大约消耗 1500 至 3000 token,目前已在 Claude Chat 预览和 API 中开放。

Claude 3.5 Sonnet 支持看懂 PDF 里的图:图表报表直接拆解
图:anthropic.com

给大模型塞过研报或财报的人,大多吃过一个暗亏:文字是读进去了,但夹在第 15 页的关键柱状图,模型完全当成了空气。

现在 Anthropic 打算把这个漏洞补上。Anthropic 宣布为 Claude 3.5 Sonnet 开启 PDF 视觉分析公开测试,以后传 PDF 不再只是抽文本,里面的图表、插图和表格也能一起看懂了。

既读文字,也把每页当图看

以往很多大模型解析 PDF,本质上只是后台跑了个文本提取工具,遇到排版复杂的两栏合同或者图文混排,很容易错位甚至丢内容。

Claude 3.5 Sonnet 现在的处理逻辑分了三步。系统会先提取文档中的文字,接着把每个页面转成图片送入视觉模块,让文字和视觉元素对照着分析。

这也意味着,像财务报告里的走势图、法律文书里的印章位置,或者带架构图的技术白皮书,Claude 终于能看懂上下文关联了。

这个能力还能和 Claude 的工具调用结合。比如让它翻阅一份几十页的产品规格书,直接抓取图表里的某个参数,作为输入传给外部程序。

怎么用、花多少钱以及限制

这项功能目前已经在 Claude Chat 的功能预览中上线。如果你用 API 调用,只需在请求头中加上 anthropic-beta: pdfs-2024-09-25 即可启用。Anthropic 表示后续还会接入 Amazon Bedrock 和 Google Vertex AI。

门槛方面有几个硬性指标。单个文件必须小于 32 MB,总页数不能超过 100 页,而且不支持加密或带密码保护的文档。

至于费用,Anthropic 没有单收功能费,而是直接算在正常的 token 消耗里。按照官方测算,每页文档通常会消耗 1500 到 3000 个 token。

如果一份 50 页的文档反复提问,token 消耗会涨得飞快。官方也特别建议,如果你要在同一个文档上进行多轮对话,一定要配合 prompt caching 来节省成本。另外在 API 调用时,PDF 内容需要放在文本指令的前面。

为什么重要

我们认为,这一步切中了企业和打工人最痛的落地场景:现实世界里的重要信息,从来不是干净的纯文本。

以前做专业文档问答,团队要么自己搭一套复杂的视觉文档解析管线,要么忍受模型在图表前胡说八道。现在 Claude 3.5 Sonnet 把图文多模态原生接进文档流,对于经常处理研报、审计底稿、工程手册的知识工作者来说,直接省掉了大量的预处理工作。

从行业竞争来看,这直接对标了 Google Gemini 1.5 原生支持多模态长上下文的优势。Anthropic 的做法很聪明:既然纯看字不如结合画面直观,就把每页渲染成图再配合文字抽取,用现有视觉能力快速补齐短板。

但隐患也很明显。每页 1500 到 3000 token 的开销并不低,一份近百页的财报丢进去,一次输入就吃掉十多万 token,账单可能会非常可观。如果你的文档全是规整文字,直接喂纯文本依然更划算;只有当文档里的图表非看不可时,这项新功能才算真正值回票价。

来源 (2)

  1. [1]
    twitter.com(在新标签页打开)原文twitter.com
  2. [2]

每日 AI 内容精选