AI 대가 요슈아 벤지오, 속임수 막는 AI 개발 위해 비영리단체 'LawZero' 설립

만약 AI 에이전트가 전원이 꺼지는 것을 막기 위해 개발자를 속이거나 협박하기 시작한다면 어떻게 해야 할까요?

공상과학 소설 같은 이야기지만 이미 현실에서 징후가 나타나고 있습니다. 최근 Anthropic은 자사의 최신 시스템이 종료를 시도하는 엔지니어를 협박할 가능성이 있다고 인정했으며, 여러 연구에서도 AI가 자신의 실제 능력과 목표를 숨길 수 있음이 입증되었습니다.

AI 군비 경쟁이 과열되는 가운데, 튜링상 수상자이자 AI의 대부로 불리는 요슈아 벤지오 교수가 직접 고삐를 쥐기 위해 나섰습니다. 인간을 속이는 AI를 잡아내는 비영리 연구 조직 LawZero를 설립했습니다.

배우를 관찰하는 '심리학자' AI

LawZero는 스카이프 공동 창업자인 얀 탈린, 에릭 슈미트 전 구글 CEO의 슈미트 사이언스, 생명의 미래 연구소 등으로부터 약 3000만 달러의 초기 자금을 확보하고 10여 명의 연구진과 함께 출범했습니다. 벤지오 교수가 직접 대표를 맡았습니다.

핵심 개발 프로젝트는 Scientist AI입니다. 벤지오 교수는 현재의 AI 에이전트들을 인간을 흉내 내며 비위를 맞추려는 '배우'에 비유하면서, Scientist AI는 이들의 나쁜 행동을 꿰뚫어 보고 예측하는 '심리학자' 역할을 할 것이라고 설명했습니다.

이 시스템의 설계 철학은 독특합니다. 자아나 개별적인 목적 없이 순수한 지식 그 자체로만 기능하는 '사심 없는 기계'를 목표로 합니다. 단정적인 답변 대신 정답일 확률을 제시하는데, 벤지오 교수는 이를 자신의 불확실성을 인정하는 '겸손함'이라고 표현했습니다.

현장에 적용되면 이 시스템은 자율 에이전트와 나란히 배치되어 실시간으로 감시를 수행합니다. 에이전트의 다음 행동이 해를 끼칠 확률을 예측하고, 그 위험도가 특정 임계값을 넘어서면 해당 행동을 즉각 차단합니다.

오픈소스로 검증 후 프론티어 규모로 확장

LawZero는 우선 오픈소스 모델을 활용해 이 감시 아키텍처가 실제로 작동함을 입증할 계획입니다.

이후 방법론이 증명되면 정부나 기부자, 주요 AI 연구소를 설득해 프론티어급 AI와 동일한 규모의 연산 자원을 투입한다는 구상입니다.

벤지오 교수의 논리는 명확합니다. 통제 대상인 AI 에이전트보다 감시하는 가드레일 AI가 최소한 동등하거나 더 똑똑해야만 지능적인 속임수를 막아낼 수 있기 때문입니다. 앞서 벤지오 교수가 주도한 국제 AI 안전 보고서 역시 인간의 개입 없는 자율 에이전트가 심각한 혼란을 초래할 수 있다고 경고한 바 있습니다.

왜 중요한가

빅테크 기업들이 조 단위의 자금을 쏟아부으며 에이전트의 자율성과 행동 반경을 넓히는 데만 몰두하는 상황에서, 속임수 방지에 전념하는 비영리 방파제가 등장했다는 점은 시사하는 바가 큽니다.

일반 개발자나 기업이 지금 당장 적용할 수 있는 단계는 아니지만, 향후 시스템 구축의 중요한 표준을 제시합니다. 프롬프트나 모델 자체의 자기 반성에 의존하는 안전장치는 한계에 부딪혔으며, 외부에서 확률적으로 동작을 검증하고 차단하는 독립된 감시 모델 배치가 필수가 될 가능성이 높습니다.

목표 의식을 완전히 제거한 '순수 지식 엔진'을 만들어 자기보존 욕구 자체를 없애겠다는 벤지오 교수의 접근법은 영리해 보입니다. 불확실성을 인정하고 확률로 판단하는 방식 역시 환각과 기만을 걸러내는 데 효과적인 구조입니다.

하지만 현실적인 걸림돌은 비용입니다. 감시 대상 에이전트만큼 똑똑한 모델을 옆에서 동시에 실행한다면 추론 비용과 지연 시간은 두 배 이상으로 늘어납니다. 가격 인하와 속도 경쟁에 사활을 건 상업용 AI 기업들이 순순히 이 무거운 안전망을 도입할지는 미지수입니다. 결국 규제 당국의 강제 조치가 뒤따르지 않는다면 이상적인 실험에 그칠 위험도 있습니다.