跳到正文
IFAI

AI科研

顶尖 AI 认表盘惨败:人类准确率 89.1%,最强模型仅 13.3%

首次发布 传播指数 35

研究者 Alek Safar 发布新基准 ClockBench,测试 11 款主流大模型看指针时钟的能力。人类识别准确率达 89.1%,而表现最好的 Gemini 2.5 Pro 仅有 13.3%,中位误差达 1 小时。最值得关注的是,AI 一旦认对时间就能算对,瓶颈出在纯粹的视觉空间推理上。

顶尖 AI 认表盘惨败:人类准确率 89.1%,最强模型仅 13.3%
图:the-decoder.com

现在最顶尖的大模型能帮你写代码、推导数学定理,甚至通过各种极其苛刻的资格考试。但如果你给它一张挂钟的照片问它现在几点,它大概率会看瞎。

研究者 Alek Safar 最近做了一个叫 ClockBench 的基准测试,找来 6 家公司的 11 个主流多模态大模型,和 5 名人类比拼看挂钟。结果让人大跌眼镜:人类的平均准确率是 89.1%,而表现最好的模型准确率只有 13.3%。

最聪明的模型,看时间误差一小时

为了防止模型在训练阶段背过现成图片,Safar 从零设计了 180 款指针时钟,一共出了解读时间、指针旋转、时区换算等 720 道题。里面混合了罗马数字、镜像表盘、彩色背景甚至无分针设计。

在所有模型里,Google 的 Gemini 2.5 Pro 拿下了第一名,但准确率也仅仅是 13.3%。Gemini 2.5 Flash 紧随其后,拿到 10.5%。

排在第三的是 GPT-5,准确率只有 8.4%。即使研究人员调高推理预算,给它更多思考时间,成绩也没有明显起色。Anthropic 家的 Claude 4.1 Opus 和 Claude 4 Sonnet 也只有 5.6% 和 4.2%。

最离谱的是 Grok 4,准确率直接垫底,只有 0.7%。它采取了一种近乎摆烂的极度保守策略,把超过六成的时钟直接判定为非法的异常钟面,而实际上题目里只有 37 个钟面显示了不可能的时间。

更有意思的是误差幅度。人类看错时,中位数误差只有 3 分钟。而表现最好的模型看错时,中位数误差整整差了一个小时。最差的模型误差高达 3 小时左右,在 12 小时的表盘上,这基本相当于随机瞎蒙。

整套测试里,有 61.7% 的表盘没有任何一个模型能够读对。尤其是遇到罗马数字或者环形排布的数字时,模型的准确率甚至跌到了 3% 到 4%。

会做复杂算术,却死在第一步看图上

这项测试还发现了一个充满反差的现象:大模型根本不是不会算时间。

只要模型碰巧把初始时间读对了,接下来的时间计算、计算指针旋转特定角度、转换时区这些逻辑题,它们几乎每次都能全对。

也就是说,大模型缺的不是时间推理逻辑,而是纯粹的几何视觉感知。它无法准确分辨长针短针在空间中的细微夹角,更难把表盘上的几何线条正确翻译成脑子里的数字。

一年前曾有研究测试过多模态模型读取工业仪表盘,当时 GPT-4o 还能拿到 54.8% 的准确率。但放到表盘设计更多变、无现成模板可套的 ClockBench 里,顶尖模型的短板被彻底打回原形。

为什么重要

这项测试戳破了多模态大模型无所不能的幻觉。我们认为,它非常直接地证明了当下的多模态模型本质上仍然是文本优先的产物。它们擅长处理概念、语义和文字推演,但在底层的空间几何感知上,连一个几岁的小孩都不如。

对开发者和企业来说,这意味着一个非常现实的提醒:千万别把涉及精密空间读数的现实任务直接甩给大模型。比如读取工厂老旧仪表的指针刻度、看图纸上的微小角度、分析医疗影像中的微小形变,现在的模型依然极不可靠。如果要在生产环境做这类事,传统的计算机视觉算法依然比通用大模型稳妥得多。

这一步测试做得非常聪明,它避开了知识密集型的八股文考试,精准踩中了多模态架构的软肋。行业之前总觉得只要拼命加大模型参数、堆视觉数据,视觉感知就会自然涌现。但 ClockBench 看起来证明了,现有的视觉编码器架构可能存在根本缺陷。要解决这种看图抓瞎的问题,光靠扩大模型规模大概率不够,模型厂商可能必须在底层视觉表征上重新补课。

来源 (1)

  1. [1]
    the-decoder.com(在新标签页打开)原文the-decoder.com

每日 AI 内容精选