최첨단 AI도 시계 앞에선 무력: 정답률 인간 89.1% vs AI 최고 13.3%

최신 프론티어 AI 모델들은 복잡한 수학 증명을 풀고 전문 자격시험을 척척 통과하지만, 정작 벽에 걸린 아날로그시계를 보고 몇 시 몇 분인지 맞히는 일에는 처참한 수준인 것으로 나타났습니다.

연구자 알렉 사파르(Alek Safar)가 개발한 새로운 벤치마크 ClockBench 테스트 결과에 따르면, 인간 참가자 5명은 89.1%의 정확도로 시계를 읽어낸 반면, 주요 6개 기업의 11개 대형 언어 모델 중 1위를 차지한 모델의 정확도는 고작 13.3%에 불과했습니다.

1등 모델도 오차 1시간, 꼴찌는 '찍기' 수준

사파르는 사전 학습 데이터 오염을 막기 위해 180개의 아날로그시계 이미지를 밑바닥부터 직접 디자인했습니다. 로마 숫자, 원형 숫자, 미러 레이아웃, 초침이나 분침이 생략된 형태 등 36가지 변형 디자인을 바탕으로 총 720개의 질문을 던졌습니다.

테스트에서 가장 높은 점수를 받은 모델은 구글의 제미나이 2.5 프로(Gemini 2.5 Pro)였지만, 정답률은 13.3%에 머물렀습니다. 제미나이 2.5 플래시가 10.5%로 뒤를 이었고, GPT-5는 8.4%에 그쳤습니다. 추론 연산 예산을 늘려 모델이 더 오래 생각하게 만들어도 결과는 거의 나아지지 않았습니다.

앤스로픽의 클로드 4.1 오퍼스(5.6%)와 클로드 4 소넷(4.2%)도 한 자릿수 정답률에 머물렀고, Grok 4는 0.7%로 최하위를 기록했습니다. Grok 4는 전체 180개 중 실제로 불가능한 시간을 표시한 시계가 37개뿐이었음에도, 63.3%의 시계를 정상적인 시계가 아니라고 지나치게 방어적으로 판정하면서 사실상 문제를 포기했습니다.

오차 규모를 보면 상황은 더 심각합니다. 사람이 시간을 틀렸을 때의 오차 중앙값은 단 3분에 불과했지만, 1위 AI 모델의 오차 중앙값은 1시간이었습니다. 하위권 모델들의 오차 중앙값은 약 3시간에 달해, 12시간 표기 시계에서 무작위로 숫자를 찍는 것과 다를 바 없었습니다. 전체 시계의 61.7%는 테스트한 어떤 AI 모델도 단 한 번조차 시간을 맞히지 못했습니다.

계산은 잘하지만 시계 바늘을 못 본다

흥미로운 점은 AI가 시간 계산 자체를 못하는 것은 아니라는 사실입니다.

시계의 시작 시간을 어쩌다 맞힌 경우, 바늘을 특정 각도만큼 회전시키거나 시간대를 변환하는 등의 후속 논리 질문은 거의 100% 맞혀냈습니다. 즉, 시간이라는 개념을 추론하는 능력이 부족한 것이 아니라, 이미지 속 바늘의 각도와 위치를 숫자로 해석해 내는 기하학적 시각 인지 단계에서 완전히 무너진 셈입니다.

1년 전 중국 연구팀의 계측기 판독 테스트에서 GPT-4o가 54.8%의 정확도를 기록했던 것과 비교하면, 학습 데이터에 없는 낯선 시계 판독을 요구하는 ClockBench에서 멀티모달 모델들의 실제 시각 인식 한계가 적나라하게 드러났습니다.

왜 중요한가

이번 결과는 현재 멀티모달 AI가 가진 치명적인 약점을 명확히 짚어냈습니다. 우리는 이번 테스트를 통해 최신 AI 모델들이 본질적으로 여전히 텍스트 중심이며, 인간 어린아이도 직관적으로 파악하는 2차원 공간 기하학 및 각도 인식을 전혀 체화하지 못하고 있다는 점이 증명되었다고 봅니다.

현장의 개발자와 엔터프라이즈 기업들에게 이는 분명한 경고입니다. 공장의 노후 아날로그 계기판 판독, 정밀 설계도 분석, 의료 영상의 미세 각도 측정 등 물리적인 공간 인식이 필요한 업무에 범용 멀티모달 모델을 그대로 도입하는 것은 지금으로선 매우 위험합니다. 이런 작업에는 여전히 기존의 전통적인 컴퓨터 비전(CV) 기술을 사용하는 편이 훨씬 안전합니다.

ClockBench는 단순 텍스트 지식 암기로는 풀 수 없는 시각적 약점을 영리하게 공략했습니다. 단순히 모델 크기를 키우고 웹 데이터를 더 긁어모은다고 해서 시각적 기하 감각이 저절로 생기지는 않는다는 점이 확인된 만큼, AI 연구소들은 비전 인코더의 근본적인 구조 개선이라는 숙제를 마주하게 되었습니다.