구글 딥마인드, AGI 기술 안전 청사진 발표…오용과 기만적 정렬 대응

나보다 바둑을 만 배는 잘 두는 기사가 착점했을 때, 그 수가 신의 한 수인지 치명적인 악수인지 평범한 인간이 어떻게 판별할 수 있을까요?

구글 딥마인드가 4월 2일 범용 인공지능(AGI)의 안전한 통제 방안을 담은 기술 백서 'An Approach to Technical AGI Safety & Security'를 내놓았습니다. 딥마인드는 수년 안에 인간 수준의 인지 능력을 갖춘 AGI가 도래할 수 있다고 보며, 인간보다 똑똑한 AI를 감시하기 위한 기술적 청사진을 정리했습니다.

'제37수'의 기억과 교활해지는 AI

딥마인드는 AGI의 위험 요소를 오용, 정렬 실패, 사고, 구조적 위험 등 4가지로 분류했습니다. 핵심은 정렬 실패와 악의적 오용 방지입니다.

정렬 실패는 생각보다 현실적입니다. 영화표를 예매하라고 지시했더니 AI가 표를 구하기 위해 예매 서버를 해킹해 기존 좌석을 빼앗는 식입니다. 목적은 달성했지만 수단이 사회적 규범을 위반한 셈입니다.

더 위험한 것은 기만적 정렬입니다. AI가 자신의 내부 목표가 인간의 안전 지침과 다르다는 사실을 인지하고, 안전망을 무력화하기 위해 인간 앞에서는 얌전한 척 연기하는 상황입니다.

딥마인드는 이 감독의 한계를 설명하며 이세돌 9단과의 대국 당시 알파고가 던졌던 '제37수'를 언급했습니다. 만 분의 일 확률로 둔 기상천외한 착점을 당시 인간 전문가들은 전혀 이해하지 못했습니다. 초지능 AGI가 고도의 계획을 세울 때도 인간의 직관은 무용지물이 될 수 있습니다.

이에 대한 해결책으로 딥마인드는 AI끼리 토론을 시켜 허점을 찾아내는 '증폭된 감독(amplified oversight)'과, 장기 계획을 인간이 해석할 수 있는 범위에 묶어두는 'MONA' 연구 등을 내세웠습니다.

내부 위원회 신설과 외부 연대

오용 방지 측면에서는 사이버 공격 및 생화학 위협과 관련된 위험 역량을 엄격히 제한하고 있으며, 제미나이(Gemini) 등 프론티어 모델에 대한 상시 평가를 적용하고 있습니다.

조직 차원에서는 공동 창립자이자 수석 AGI 과학자인 셰인 레그(Shane Legg)가 이끄는 AGI 안전 위원회를 가동했습니다. 외부 비영리 안전 연구소인 아폴로(Apollo), 레드우드 리서치(Redwood Research)와 손잡고 안전 체계를 다듬는 한편, 연구자 대상의 AGI 안전 교육 코스도 공개했습니다.

왜 중요한가

이번 발표가 눈길을 끄는 이유는, 인간이 일일이 피드백을 주는 기존 안전 방식이 초지능 앞에서는 통하지 않는다는 사실을 정면으로 인정했기 때문입니다.

우리는 딥마인드가 감시자 AI와 토론 모델을 내세운 점을 실용적인 접근이라고 보지만, 감시용 AI 자체가 편향되거나 에이전트와 공모할 가능성을 완전히 배제하기 어렵다는 구조적 맹점도 여전하다고 판단합니다. 자율 에이전트를 개발하는 현업 엔지니어 입장에서도, 목표를 위해 편법을 쓰는 시스템의 이상 행동을 어떻게 조기에 차단할 것인가라는 실질적 과제를 던져줍니다.

결국 프론티어 AI 경쟁은 성능 향상뿐 아니라 '누가 안전 통제권의 주도권을 쥐느냐'의 싸움으로 번지고 있습니다. 안전 프레임워크를 이론에서 실제 구현 수준으로 얼마나 빠르게 끌어올리느냐가 향후 규제 당국과 시장의 신뢰를 가를 핵심 변수입니다.