노벨상 수상자 등 200여 명 "2026년 말까지 AI 금지선 합의해야"

원자력 발전소를 지을 때 인류는 폭발을 막을 방법을 먼저 찾은 뒤에야 가동을 시작했습니다. 하지만 지금의 AI 산업은 정반대로 달리고 있습니다.

뉴욕에서 열리는 제80차 유엔총회 고위급 주간을 앞두고 전직 국가수반, 외교관, 노벨상 수상자, 최고 수준의 AI 과학자 등 200여 명이 한목소리를 냈습니다. 이들은 70여 개 관련 기관과 함께 2026년 말까지 각국 정부가 AI가 넘어서는 안 될 레드라인에 대한 국제적 정치 합의를 이뤄야 한다는 성명을 발표했습니다.

서명자 명단에는 노벨상 수상자인 제프리 힌턴을 비롯해 OpenAI 공동 창립자 보이체흐 자렘바, 앤트로픽의 최고정보보안책임자 제이슨 클린턴, 구글 딥마인드 연구원 이언 굿펠로 등이 포함됐습니다.

기계가 절대 넘지 말아야 할 선

이번 성명을 주도한 프랑스 AI 안전 센터의 샤르벨 라파엘 세제리 대표는 각국이 AI로 무엇을 할지에 합의하지 못한다면, 최소한 AI가 절대 해서는 안 될 일이 무엇인지부터 합의해야 한다고 강조했습니다.

구체적인 금지선으로는 AI가 인간을 사칭하는 행위와 스스로를 무단 복제하는 행위 등이 제시됐습니다. 노벨 평화상 수상자인 마리아 레사 역시 유엔총회 개막 연설에서 이 성명을 언급하며 빅테크의 면책 특권을 끝내기 위한 글로벌 책임 체계가 필요하다고 촉구했습니다.

일부 지역적인 규제는 이미 존재합니다. 유럽연합은 AI 법을 통해 용납할 수 없는 사용 방식을 금지했고, 미국과 중국도 핵무기 통제권만큼은 AI가 아닌 인간에게 두기로 합의했습니다. 하지만 전 지구적 합의는 여전히 공백 상태입니다.

퓨처 소사이어티의 니키 일리아디스는 기업 내부의 자율적인 안전 서약만으로는 실질적인 강제력이 부족하다고 꼬집었습니다. 장기적으로는 레드라인을 규정하고 감시하며 강제할 수 있는 실질적인 힘을 가진 독립적 국제기구가 필요하다는 지적입니다.

UC 버클리의 스튜어트 러셀 교수는 규제가 혁신을 가로막는다는 주장을 정면으로 반박했습니다. 의료 진단에 AI를 쓰기 위해 인류를 파멸로 몰고 갈지 모르는 제어 불능의 AGI까지 감수해야 한다는 식의 이분법은 말도 안 되는 억지라는 설명입니다.

왜 중요한가

이번 제안의 영리한 점은 모호한 안전 담론을 치우고 인간 사칭이나 자가 복제 같은 직관적인 금지선에 집중했다는 사실입니다.

일반 개발자나 기업 사용자 입장에서도 이는 나쁜 소식이 아닙니다. 파괴적인 한계선만 명확히 그어지면 일상적인 자동화나 생산성 도구 개발은 불필요한 과잉 규제에 시달리지 않고 안정적으로 사업을 이어갈 수 있기 때문입니다.

하지만 실현 과정에는 큰 난관이 도사리고 있습니다. 2026년 말이라는 목표 시점은 복잡한 다자간 외교 협상을 매듭짓기에 턱없이 촉박합니다.

더 큰 문제는 실질적인 강제력을 가진 기구를 만드는 과정입니다. AI 모델의 가중치나 데이터센터를 직접 감시하지 않고는 자가 복제를 적발하기 어려운데, 이는 기업 비밀과 국가 안보 문제에 정면으로 부딪힙니다.

그럼에도 OpenAI 창립 멤버와 앤트로픽의 보안 총괄, 그리고 힌턴 같은 석학들이 직접 국제 협약에 힘을 실은 만큼, 빅테크가 규제를 피하기 위해 내세우던 혁신 방해 논리는 설 자리를 잃게 될 것으로 보입니다.