딥마인드, 알파제로 뛰어넘는 체스 멀티 에이전트 'AZdb' 공개

알파제로(AlphaZero)는 체스 인공지능의 정점으로 꼽히지만, 체스 엔진을 속이기 위해 의도적으로 설계된 까다로운 퍼즐 앞에서는 여전히 허점을 드러내곤 했습니다. 아무리 뛰어난 단일 모델이라도 혼자 학습하다 보면 사고의 사각지대가 생기기 마련입니다.

구글 딥마인드(Google DeepMind)는 이 한계를 깨기 위해 방향을 틀었습니다. 단일 두뇌 대신 서로 다른 기풍을 지닌 알파제로들을 하나의 팀으로 묶은 앙상블 시스템 ‘AZdb’를 구축해 기존 알파제로를 꺾었습니다.

서로 다른 기풍을 지닌 AI 군단

AZdb의 핵심은 다양성입니다. 딥마인드는 에이전트 간 평균 기물 배치의 차이를 극대화하는 ‘행동 다양성’과 서로 다른 성향의 상대를 마주하게 하는 ‘반응 다양성’ 기법을 적용했습니다.

그 결과 에이전트마다 뚜렷한 개성이 생겼습니다. 선호하는 오프닝이나 폰 구조가 제각각이었고, 기물을 지키거나 희생하는 방식도 완전히 달랐습니다.

연구진은 가리 카스파로프가 평생 가장 많은 에너지를 쏟았다고 회고한 ‘카스파로프 대 전 세계’ 서신 체스 경기나, 그랜드마스터들이 중요한 대국을 앞두고 다양한 스타일의 기사들을 모아 팀을 꾸리는 인간의 협업 방식에서 힌트를 얻었다고 설명했습니다.

맞춤형 투입으로 레이팅 50점 상승

체스 엔진을 함정에 빠뜨리기 위해 특별히 설계된 고난도 퍼즐 테스트에서 AZdb는 진가를 발휘했습니다. 생각할 시간이 충분히 주어졌을 때, AZdb는 단일 알파제로보다 2배나 많은 난제를 풀어냈습니다.

실제 대국에서는 ‘열가산적 계획(sub-additive planning)’ 방식을 활용했습니다. 상대가 들고나온 오프닝에 맞춰 해당 국면에 가장 특화된 에이전트를 선별해 등판시키는 전략입니다.

이러한 전문가 분업 시스템 덕분에 AZdb는 기존 단일 알파제로를 상대로 ELO 레이팅을 50점이나 끌어올렸습니다.

왜 중요한가

강화학습에서 모델이 자기복제식 학습을 반복하다 보면 특정 편향에 갇히기 쉬운데, 딥마인드는 모델의 다양성을 통해 이 일반화 문제를 영리하게 풀어냈다고 봅니다.

이는 체스를 넘어 복잡한 추론이나 코딩 작업을 수행하는 AI 에이전트 분야 전반에 시사하는 바가 큽니다. 모든 영역을 혼자 다 잘하는 초거대 단일 모델을 만드는 것보다, 서로 다른 관점과 강점을 가진 에이전트들의 합의체를 구축하는 편이 더 효율적일 수 있음을 보여주기 때문입니다.

다만 비용과 복잡도는 분명한 약점입니다. 여러 에이전트를 동시에 유지하고 학습시키는 데 드는 연산 자원이 상당하며, 체스의 오프닝처럼 규칙이 명확하지 않은 현실 세계의 복잡한 업무에서 어떤 에이전트를 적재적소에 투입할 것인가는 여전히 까다로운 과제로 남아 있습니다.