구글 딥마인드, 수학올림피아드 기하학 난제 푸는 '알파지오메트리' 공개

학창 시절 기하학 문제를 풀 때, 보조선 하나를 긋는 순간 거짓말처럼 풀이가 완성되던 경험이 한 번쯤 있을 것입니다. 이처럼 번뜩이는 직관과 엄밀한 형식 논리가 동시에 필요한 기하학 증명은 인공지능이 가장 힘들어하던 분야였습니다.

구글 딥마인드가 국제 학술지 네이처를 통해 올림피아드 수준의 기하학 문제를 해결하는 AI 시스템 '알파지오메트리(AlphaGeometry)'를 공개했습니다. 기계가 인간 최고 수준의 수학적 추론 능력에 도달했음을 보여주는 결과입니다.

국제수학올림피아드(IMO)에 출제된 기하학 문제 30개를 대상으로 테스트한 결과, 알파지오메트리는 제한 시간 내에 25문제를 풀어냈습니다. 1978년 중국 수학자 우원쥔이 개발했던 기존 최고 시스템이 10문제를 푼 데 그쳤고, 인간 금메달리스트의 평균 정답 수가 25.9개인 점을 감안하면 거의 인간 최상위권 수준에 도달한 셈입니다.

직관을 맡는 언어모델과 논리를 검증하는 기호 엔진

딥마인드는 단순히 트랜스포머의 크기를 키우는 대신, 신경망 언어모델과 기호 연역 엔진을 결합한 '신경 기호(neuro-symbolic)' 방식을 택했습니다.

언어모델은 직관적으로 패턴을 찾아내어 어디에 보조점이나 보조선을 그어야 할지 제안합니다. 반면 기호 엔진은 엄격한 논리 규칙에 따라 빈틈없이 증명 단계를 밟아나갑니다.

문제가 주어지면 기호 엔진이 먼저 논리적 연역을 시도합니다. 한계에 부딪혀 막히면 언어모델이 개입해 유망한 보조선을 하나 추가해주고, 기호 엔진이 이를 바탕으로 다시 증명을 이어갑니다. 이 과정을 반복하며 컴퓨터로 검증 가능한 해답을 완성합니다.

기하학 분야의 고질적인 훈련 데이터 부족도 합성 데이터로 정면 돌파했습니다. 무작위 기하학 다이어그램 10억 개를 생성한 뒤 역추적 연역을 통해 1억 건의 고유한 합성 증명 데이터를 구축했습니다. 인간의 풀이 데이터 없이 순수 기계 생성 데이터만으로 모델을 훈련시킨 것입니다.

본 대학교의 수학자 플로리스 판 도른 교수는 생각보다 수년은 앞서 등장한 놀라운 결과라고 평가하면서도, 아직 대학 수준의 추상적인 현대 연구 수학을 해결하는 단계는 아니라고 선을 그었습니다.

왜 중요한가

우리는 알파지오메트리가 거대언어모델(LLM)의 고질병인 환각과 추론 한계를 해결할 가장 현실적인 설계도를 제시했다고 봅니다.

언어모델 혼자서는 엄밀한 참과 거짓을 증명하기 어렵고, 전통적인 기호 논리 엔진은 문제 공간이 넓어지면 길을 잃습니다. 직관을 제공하는 생성 모델과 이를 채찍질하는 검증 엔진의 결합은 복잡한 소프트웨어 검증이나 물리 시뮬레이션 에이전트에도 그대로 이식될 수 있는 영리한 구조입니다.

인간의 개입 없이 1억 개의 무결점 훈련 데이터를 자체 생성해 냈다는 점 역시 데이터 고갈을 걱정하는 AI 업계에 강력한 돌파구를 보여줍니다.

물론 한계도 명확합니다. 기하학은 공리 체계와 정답 판별 기준이 수학 분야 중에서도 가장 닫혀 있고 명확한 영역입니다. 규칙이 모호한 실세계 문제에서도 이 방식이 똑같이 작동할지는 미지수입니다. 그럼에도 딥마인드가 코드와 모델을 오픈소스로 공개한 만큼, 논리적 AI를 연구하는 개발자들에게는 지금 당장 뜯어볼 만한 가치가 충분합니다.