서울 AI 정상회의 개막, 10개국·EU 및 16개 글로벌 기업 'AI 안전 서약' 체결

영국 블레츨리 파크에서 열린 첫 AI 안전 정상회의 이후 6개월 만에, 전 세계 주요 AI 기업들이 한자리에 모여 위험을 통제할 수 없다면 모델 출시를 중단하겠다는 전례 없는 서약을 내놓았습니다.

영국과 한국이 공동 주최한 AI 서울 정상회의 첫날, 글로벌 AI 업계를 이끄는 16개 기업이 프런티어 AI 안전 서약에 최종 합의했습니다.

위험 기준 못 넘기면 배포 전면 중단

서약에 참여한 16개 기업의 면면은 화려합니다. OpenAI, 구글, 메타, 마이크로소프트, 앤스로픽, xAI, 아마존을 비롯해 프랑스의 미스트랄 AI, UAE의 기술혁신연구소(TII), 한국의 삼성전자, 그리고 중국의 지푸 AI까지 포함되었습니다.

영국 정부 발표에 따르면, 이들 기업은 완화 조치를 통해 위험을 특정 임계값 이하로 유지할 수 없다면 해당 모델이나 시스템을 아예 개발하거나 배포하지 않기로 뜻을 모았습니다.

리시 수낙 영국 총리는 전 세계 각지의 주요 AI 기업들이 단일한 안전 약속에 합의한 것은 사상 처음이라며, 프런티어 AI 개발의 투명성과 책임성을 담보하는 계기가 될 것이라고 평가했습니다.

정부 차원의 안전망도 대폭 확장되었습니다. 한국, 미국, 영국, 일본, 싱가포르, 호주, 캐나다, 프랑스, 독일, 이탈리아 및 유럽연합(EU) 등 10개국과 EU는 각국의 AI 안전연구소를 연결하는 국제 네트워크를 구축하기로 합의했습니다.

앞서 지난달 미·영 양국이 안전 평가 업무협약을 맺은 데 이어, 이번 서울 회의를 통해 다자간 안전 연구와 표준 검증을 조율하는 협력 체계로 확대된 것입니다.

수낙 총리와 윤석열 대통령이 주재한 정상 화상회의에서는 인간 중심적이고 신뢰할 수 있는 AI 거버넌스를 골자로 한 서울 선언도 함께 채택되었습니다.

왜 중요한가

우리는 이번 합의가 막연한 안전 담론을 넘어 기업 스스로 개발 중단 기준을 공식화했다는 점에서 의미가 크다고 봅니다.

개발자와 기업 고객 관점에서도 이는 긍정적인 신호입니다. 최상위 파운데이션 모델 개발사들이 최소한의 안전 임계값을 설정하고 검증을 거치게 되면, 상용 API나 파생 시스템을 도입할 때 발생할 수 있는 보안 및 탈옥 리스크를 사전에 줄일 수 있습니다.

특히 OpenAI, 메타와 함께 중국의 지푸 AI가 같은 명단에 이름을 올렸다는 점은 지정학적으로 매우 중요한 대목입니다. AI 위험에는 국경이 없는 만큼, 글로벌 경쟁의 양대 축이 안전 규칙의 최소 공약수에 서명했다는 사실 자체가 의미 있는 성과입니다.

다만 한계 역시 분명합니다. 위험 임계값의 구체적인 기준이 무엇이며, 이를 외부에서 어떻게 객관적으로 검증할 것인지는 여전히 기업의 자율에 기대고 있습니다. 경쟁사와의 속도전이 치열한 상황에서 기업이 스스로 제동을 걸 수 있을지는 조금 더 지켜볼 필요가 있어 보입니다.