Claude 3.5 Sonnet 支援看懂 PDF 裡的圖:圖表報表直接拆解
Anthropic 為 Claude 3.5 Sonnet 開啟 PDF 視覺分析公測,能同時讀懂文件裡的文字、圖表和嵌入影像。單份檔案限制在 32 MB 與 100 頁以內,每頁大約消耗 1500 至 3000 token,目前已在 Claude Chat 預覽和 API 中開放。

給大模型塞過研報或財報的人,大多吃過一個暗虧:文字是讀進去了,但夾在第 15 頁的關鍵柱狀圖,模型完全當成了空氣。
現在 Anthropic 打算把這個漏洞補上。Anthropic 宣佈為 Claude 3.5 Sonnet 開啟 PDF 視覺分析公開測試,以後傳 PDF 不再只是抽文本,裡面的圖表、插圖和表格也能一起看懂了。
既讀文字,也把每頁當圖看
以往很多大模型解析 PDF,本質上只是後臺跑了個文本提取工具,遇到排版複雜的兩欄合同或者圖文混排,很容易錯位甚至丟內容。
Claude 3.5 Sonnet 現在的處理邏輯分了三步。系統會先提取文件中的文字,接著把每個頁面轉成圖片送入視覺模組,讓文字和視覺元素對照著分析。
這也意味著,像財務報告裡的走勢圖、法律文書裡的印章位置,或者帶架構圖的技術白皮書,Claude 終於能看懂上下文關聯了。
這個能力還能和 Claude 的工具呼叫結合。比如讓它翻閱一份幾十頁的產品規格書,直接抓取圖表裡的某個引數,作為輸入傳給外部程式。
怎麼用、花多少錢以及限制
這項功能目前已經在 Claude Chat 的功能預覽中上線。如果你用 API 呼叫,只需在請求頭中加上 anthropic-beta: pdfs-2024-09-25 即可啟用。Anthropic 表示後續還會接入 Amazon Bedrock 和 Google Vertex AI。
門檻方面有幾個硬性指標。單個檔案必須小於 32 MB,總頁數不能超過 100 頁,而且不支援加密或帶密碼保護的文件。
至於費用,Anthropic 沒有單收功能費,而是直接算在正常的 token 消耗裡。按照官方測算,每頁文件通常會消耗 1500 到 3000 個 token。
如果一份 50 頁的文件反覆提問,token 消耗會漲得飛快。官方也特別建議,如果你要在同一個文件上進行多輪對話,一定要配合 prompt caching 來節省成本。另外在 API 呼叫時,PDF 內容需要放在文本指令的前面。
為什麼重要
我們認為,這一步切中了企業和打工人最痛的落地場景:現實世界裡的重要資訊,從來不是乾淨的純文本。
以前做專業文件問答,團隊要麼自己搭一套複雜的視覺文件解析管線,要麼忍受模型在圖表前胡說八道。現在 Claude 3.5 Sonnet 把圖文多模態原生接進文件流,對於經常處理研報、審計底稿、工程手冊的知識工作者來說,直接省掉了大量的預處理工作。
從行業競爭來看,這直接對標了 Google Gemini 1.5 原生支援多模態長上下文的優勢。Anthropic 的做法很聰明:既然純看字不如結合畫面直觀,就把每頁渲染成圖再配合文字抽取,用現有視覺能力快速補齊短板。
但隱患也很明顯。每頁 1500 到 3000 token 的開銷並不低,一份近百頁的財報丟進去,一次輸入就吃掉十多萬 token,賬單可能會非常可觀。如果你的文件全是規整文字,直接喂純文本依然更划算;只有當文件裡的圖表非看不可時,這項新功能才算真正值回票價。
來源 (2)
- twitter.com(在新分頁開啟)原文twitter.com
- the-decoder.com(在新分頁開啟)報導the-decoder.com