跳到正文
IFAI

AI科研

頂尖 AI 認錶盤慘敗:人類準確率 89.1%,最強模型僅 13.3%

首次發布 傳播指數 35

研究者 Alek Safar 釋出新基準 ClockBench,測試 11 款主流大模型看指標時鐘的能力。人類識別準確率達 89.1%,而表現最好的 Gemini 2.5 Pro 僅有 13.3%,中位誤差達 1 小時。最值得關注的是,AI 一旦認對時間就能算對,瓶頸出在純粹的視覺空間推理上。

頂尖 AI 認錶盤慘敗:人類準確率 89.1%,最強模型僅 13.3%
圖:the-decoder.com

現在最頂尖的大模型能幫你寫程式碼、推導數學定理,甚至通過各種極其苛刻的資格考試。但如果你給它一張掛鐘的照片問它現在幾點,它大機率會看瞎。

研究者 Alek Safar 最近做了一個叫 ClockBench 的基準測試,找來 6 家公司的 11 個主流多模態大模型,和 5 名人類比拼看掛鐘。結果讓人大跌眼鏡:人類的平均準確率是 89.1%,而表現最好的模型準確率只有 13.3%。

最聰明的模型,看時間誤差一小時

為了防止模型在訓練階段背過現成圖片,Safar 從零設計了 180 款指標時鐘,一共出瞭解讀時間、指標旋轉、時區換算等 720 道題。裡面混合了羅馬數字、映象錶盤、彩色背景甚至無分針設計。

在所有模型裡,Google 的 Gemini 2.5 Pro 拿下了第一名,但準確率也僅僅是 13.3%。Gemini 2.5 Flash 緊隨其後,拿到 10.5%。

排在第三的是 GPT-5,準確率只有 8.4%。即使研究人員調高推理預算,給它更多思考時間,成績也沒有明顯起色。Anthropic 家的 Claude 4.1 Opus 和 Claude 4 Sonnet 也只有 5.6% 和 4.2%。

最離譜的是 Grok 4,準確率直接墊底,只有 0.7%。它採取了一種近乎擺爛的極度保守策略,把超過六成的時鐘直接判定為非法的異常鐘面,而實際上題目裡只有 37 個鐘面顯示了不可能的時間。

更有意思的是誤差幅度。人類看錯時,中位數誤差只有 3 分鐘。而表現最好的模型看錯時,中位數誤差整整差了一個小時。最差的模型誤差高達 3 小時左右,在 12 小時的錶盤上,這基本相當於隨機瞎蒙。

整套測試裡,有 61.7% 的錶盤沒有任何一個模型能夠讀對。尤其是遇到羅馬數字或者環形排布的數字時,模型的準確率甚至跌到了 3% 到 4%。

會做複雜算術,卻死在第一步看圖上

這項測試還發現了一個充滿反差的現象:大模型根本不是不會算時間。

只要模型碰巧把初始時間讀對了,接下來的時間計算、計算指標旋轉特定角度、轉換時區這些邏輯題,它們幾乎每次都能全對。

也就是說,大模型缺的不是時間推理邏輯,而是純粹的幾何視覺感知。它無法準確分辨長針短針在空間中的細微夾角,更難把錶盤上的幾何線條正確翻譯成腦子裡的數字。

一年前曾有研究測試過多模態模型讀取工業儀表盤,當時 GPT-4o 還能拿到 54.8% 的準確率。但放到錶盤設計更多變、無現成模板可套的 ClockBench 裡,頂尖模型的短板被徹底打回原形。

為什麼重要

這項測試戳破了多模態大模型無所不能的幻覺。我們認為,它非常直接地證明了當下的多模態模型本質上仍然是文本優先的產物。它們擅長處理概念、語義和文字推演,但在底層的空間幾何感知上,連一個幾歲的小孩都不如。

對開發者和企業來說,這意味著一個非常現實的提醒:千萬別把涉及精密空間讀數的現實任務直接甩給大模型。比如讀取工廠老舊儀表的指標刻度、看圖紙上的微小角度、分析醫療影像中的微小形變,現在的模型依然極不可靠。如果要在生產環境做這類事,傳統的計算機視覺演算法依然比通用大模型穩妥得多。

這一步測試做得非常聰明,它避開了知識密集型的八股文考試,精準踩中了多模態架構的軟肋。行業之前總覺得只要拼命加大模型引數、堆視覺資料,視覺感知就會自然湧現。但 ClockBench 看起來證明了,現有的視覺編碼器架構可能存在根本缺陷。要解決這種看圖抓瞎的問題,光靠擴大模型規模大機率不夠,模型廠商可能必須在底層視覺表徵上重新補課。

來源 (1)

  1. [1]
    the-decoder.com(在新分頁開啟)原文the-decoder.com

每日 AI 內容精選