最先端AIでもアナログ時計が読めない：正解率は最高13.3%、人間は89.1%

最先端のAIモデルは、高度なプログラミングコードを書き、難関資格試験を突破できる知能を持っています。しかし、壁に掛かったアナログ時計の針を読ませてみると、信じられないほど不正確な結果に終わることが明らかになりました。

研究者のAlek Safar氏が発表した新たなベンチマーク「ClockBench」では、主要AI企業6社の11モデルと人間の被験者5人を対決させました。その結果、人間の平均正解率が89.1％だったのに対し、最も優秀だったAIモデルですらわずか13.3％にとどまりました。

最上位モデルでも中央値で1時間のズレ

訓練データによるカンニングを防ぐため、Safar氏は180種類のアナログ時計画像をゼロから独自に作成しました。ローマ数字、文字盤の反転、カラフルな背景、短針のみの特殊な設計など36種類のデザインを用意し、時刻の読み取りや角度計算など計720問のテストを実施しています。

最高スコアを記録したのはGoogleのGemini 2.5 Proでしたが、正解率は13.3％にすぎません。2位はGemini 2.5 Flashで10.5％、3位のGPT-5は8.4％でした。推論時間を増やしてもスコアはほとんど改善しませんでした。

AnthropicのClaude 4.1 Opusは5.6％、Claude 4 Sonnetは4.2％と低迷し、最下位となったxAIのGrok 4はわずか0.7％でした。Grok 4は全180問中37問しか存在しないはずの異常な時計を、全体の63.3％にわたって無効な時計だと誤判定し、慎重すぎるあまり自滅しました。

誤差の大きさも深刻です。人間が間違えた場合の誤差の中央値はわずか3分でしたが、トップのAIモデルでも中央値で1時間のズレが発生しました。下位モデルでは誤差が約3時間に達し、12時間表記の文字盤ではランダムに当てずっぽうで答えているのと大差ない結果となりました。

全問題の61.7％は、テストされたどのAIモデルも一度も正解できませんでした。特にローマ数字の時計では正解率が3.2％、円状に数字が並ぶ時計では4.5％まで落ち込んでいます。

計算は完璧なのに「文字盤」が見えない

興味深いのは、AIが時間という概念や計算そのものを理解していないわけではない点です。

モデルが偶然にも最初の時刻を正しく読み取れた場合、その後の時差換算や針の回転角度の計算といった応用問題にはほぼ全問正解しました。つまり、問題は論理思考ではなく、針の角度や位置関係を視覚的に正確に捉える空間認識能力の欠如にあります。

約1年前の中国の研究では、計器類や時計の読み取りタスクでGPT-4oが54.8％の正解率を出していました。しかし、新規デザインの文字盤が並ぶClockBenchでは通用せず、現在のマルチモーダルモデルの弱点が浮き彫りになりました。

なぜ重要か

この研究は、マルチモーダルAIが物理世界の空間幾何をいかに理解できていないかをはっきりと示しました。私たちは、現在のモデルが依然としてテキスト中心の構造に依存しており、人間の子どもなら直感的に把握できる針の長短や傾きの関係性を、本質的には見落としている状態だと考えています。

現場のエンジニアや実務担当者にとって、これは重要な教訓です。工場の古いアナログ計器の自動読み取りや、図面や医療画像の幾何学的な精密判定を、汎用マルチモーダルLLMにそのまま丸投げするのはまだ危険です。そうした領域では、既存の専用コンピュータビジョン技術を組み合わせるほうがはるかに手堅いと言えます。

ClockBenchのアプローチは見事でした。単なる知識量ではなく、データ丸暗記では解けない空間認識の弱点を的確に突いています。モデルを巨大化して学習データを増やすだけでは、こうした視覚の盲点は解決しない可能性が高く、各社は画像エンコーダの構造自体を根本から見直す必要に迫られそうです。