오픈AI와 앤스로픽, 새 모델 출시 전후 미국 정부에 안전 검증용 개방

AI 기업들이 신모델을 내놓을 때마다 외치던 '안전성 자체 검증'에 마침내 정부가 직접 개입하기 시작했습니다.

미국 상무부 산하 국립표준기술연구원(NIST)의 인공지능 안전 연구소(US AISI)는 8월 29일, 오픈AI 및 앤트로픽과 업무협약(MOU)을 맺고 주요 신규 모델을 대중에 공개하기 전과 후에 연구소의 안전 테스트를 받기로 합의했다고 발표했습니다.

출시 전 AI 모델을 정부에 먼저 넘긴다

이번 협약에 따라 AI 안전 연구소는 공개 예정인 핵심 프론티어 모델에 미리 접근해 위험 요소를 평가합니다. 또한 영국 안전 연구소와도 협력해 안전성 개선을 위한 피드백을 두 기업에 전달할 계획입니다.

연구소 소장 엘리자베스 켈리는 성명을 통해 이번 합의가 중요한 이정표이지만 시작에 불과하다고 밝혔습니다. 샘 올트먼 오픈AI CEO는 X를 통해 향후 모델의 사전 테스트 합의에 기쁘다고 적었고, 잭 클라크 앤트로픽 공동창업자 역시 연구소의 전문성을 활용해 대규모 배포 전에 위험을 엄격히 테스트할 수 있게 됐다고 평가했습니다.

현재 오픈AI는 주간 활성 사용자(WAU) 2억 명을 돌파하고 트라이브 캐피털 주도로 1000억 달러 이상 기업가치의 투자 유치를 논의 중입니다. 아마존의 투자를 받은 앤트로픽 역시 기업가치가 184억 달러에 달합니다. 시장을 주도하는 두 거대 스타트업이 나란히 정부 기관에 문을 열어준 셈입니다.

캘리포니아 규제 법안 피하기 위한 선택?

협약이 발표된 시점은 의미심장합니다. 바로 전날인 8월 28일, 캘리포니아주 의회는 대형 모델 훈련 전 안전 조치를 의무화하는 강력한 법안인 SB 1047을 통과시켰고, 개빈 뉴섬 주지사의 최종 서명만을 남겨두고 있었습니다.

오픈AI와 앤트로픽은 이 법안이 혁신을 저해하고 오픈소스 생태계를 위축시킬 수 있다며 반대해 왔습니다. 법적 처벌과 의무가 따르는 캘리포니아 법안 대신, 바이든 정부의 2023년 10월 행정명령을 기반으로 한 연방 차원의 자발적 협력 모델을 내세워 규제 압박을 피하려는 계산이 깔려 있습니다.

게다가 지난 6월 오픈AI 전·현직 직원들은 기업의 자율적 지배구조만으로는 안전을 담보할 수 없다는 성명서를 냈고, 법무부와 연방거래위원회(FTC)의 반독점 조사 착수 소식까지 이어졌습니다. 안팎으로 감시 요구가 커지는 상황에서 선제적으로 정부와 손을 잡은 것입니다.

왜 중요한가

우리는 이 결정이 기업 입장에서는 매우 영리한 방어막이지만, 실질적인 안전 확보에는 한계가 있다고 봅니다.

일반 이용자와 기업 고객 관점에서 보면, 신모델이 출시되기 전 미국과 영국의 공적 연구기관이 미리 점검을 마쳤다는 점은 도입 리스크를 낮춰주는 긍정적인 요소입니다. 신뢰도가 필요한 엔터프라이즈 시장에서는 중요한 세일즈 포인트가 될 수 있습니다.

그러나 이번 협약은 어디까지나 법적 구속력이 없는 자발적 MOU입니다. 연구소가 중대한 위험을 발견하더라도 출시를 법적으로 강제 중단시킬 수단이 없습니다. 강력한 법적 책임을 묻는 주 정부 규제를 피하면서 '정부와 협력하고 있다'는 명분만 챙겼다는 비판을 피하기 어렵습니다.

또한 이러한 사전 검증 절차가 업계 표준으로 굳어질 경우의 부작용도 있습니다. 정부 기관과 긴밀히 소통하며 복잡한 검증을 통과할 자금과 인력이 부족한 중소 개발사나 오픈소스 프로젝트에는 또 다른 진입 장벽이 될 수 있습니다.