앤트로픽 클로드, 양자 회로 설계서 기존 벤치마크 최대 12배 경신

실용적인 양자 컴퓨터를 만드는 과정에서 가장 큰 병목은 하드웨어 성능만이 아닙니다. 희소한 양자 자원을 얼마나 아껴 쓰느냐가 핵심입니다.

현재 개발된 양자 컴퓨터는 큐비트 수가 수백 개에서 수천 개 수준에 불과하며, 열이나 진동 같은 외부 노이즈에 매우 취약합니다. 일례로 비료 생산의 핵심인 질소고정효소 분자를 시뮬레이션하려면 2017년 기준 약 50조 개의 토폴리 게이트가 필요했습니다. 이후 알고리즘 개선을 통해 게이트 수를 약 15만 배 줄였지만, 여전히 회로를 효율화하는 작업은 인간 연구자들에게 큰 도전 과제였습니다.

Anthropic은 이 복잡한 설계 영역에 AI를 투입했습니다. STEM 펠로우십 프로그램의 Andi Gu 연구팀은 Claude Mythos 5 모델에 자연어로 된 회로 사양만을 제공했습니다. 그 결과 화학, 최적화, 물리 시뮬레이션, 정수론 등 8개 핵심 연산 프리미티브 전반에서 기존 학계의 최고 벤치마크 기록을 모두 갈아치웠으며, 일부는 연산 비용을 10분의 1 이하로 낮췄습니다.

인간 개입 없는 완전 자율 피드백 루프

양자 회로 프로그래밍은 일반 코딩과 전혀 다른 규칙을 따릅니다. 중첩 상태를 다루기 때문에 일반적인 if-else 조건문을 쓸 수 없고, 모든 계산이 가역적이어야 하므로 중간 계산 데이터를 마음대로 삭제할 수도 없습니다. 메모리를 비우려면 역계산(uncompute)을 수행해야 해 큐비트 수와 게이트 실행 시간 사이에 극단적인 절충이 필요합니다.

Anthropic은 이번 실험 대상 연산들이 고전 컴퓨터에서 빠르고 정확하게 검증될 수 있다는 점을 파고들었습니다. Claude가 회로 코드를 제안하면 외부 평가 프로그램이 정답 여부를 확인하고 ‘큐비트 수 곱하기 게이트 수’로 점수를 매겨 피드백하는 폐쇄 루프를 구축했습니다.

Claude는 53시간의 자율 탐색 끝에 타원곡선 연산의 핵심 병목인 모듈러 역원 계산에서 완전히 새로운 방식을 고안해 냈습니다. 주요 양자 최적화 알고리즘에서 가장 비싼 연산 단계의 비용을 약 12분의 1로 줄였으며, 분자 시뮬레이션에서는 대칭 구조를 파악해 중간 결과를 재사용하는 수학적 통찰까지 보여줬습니다.

왜 중요한가

우리는 이번 연구가 과학 연구 지원(AI for Science) 분야에서 대형 모델을 활용하는 가장 모범적인 방식을 보여줬다고 생각합니다.

기존 연구용 AI가 논문 요약이나 간단한 코드 작성에 그쳤던 것과 달리, 이번 작업은 인간의 직관이 닿기 힘든 고난도 영역에 AI를 배치했습니다. 특히 LLM의 아이디어 생성 능력과 고전 검증기의 엄밀한 규칙 채점을 결합해 환각(hallucination) 문제를 원천 차단한 설계가 돋보입니다.

양자 산업 관점에서도 의미가 큽니다. 하드웨어 물리 큐비트를 늘리는 데는 천문학적인 비용과 시간이 들지만, 회로 최적화로 연산 비용을 한 자릿수 이상 줄이는 것은 하드웨어 로드맵을 수년 앞당기는 효과를 냅니다. 물론 전체 상용 애플리케이션이 아닌 기초 연산 단위에 국한되어 있고 모델 추론에 긴 시간이 필요하다는 한계는 있지만, 프론티어 AI가 인간 전문가조차 놓친 수학적 구조를 스스로 찾아낼 수 있음을 입증한 강력한 사례입니다.