캘리포니아, AI 거물 규제 재추진…페이페이 리 등 전문가 보고서 발표

지난해 9월 개빈 뉴섬 캘리포니아 주지사는 1억 달러 이상 비용이 든 대형 AI 모델에 안전 검사를 의무화하려던 법안 SB 1047에 거부권을 행사했습니다. 일률적인 규제가 혁신을 가로막는다는 이유였습니다. 대신 그는 대안을 찾기 위해 정상급 연구진으로 구성된 태스크포스를 꾸렸습니다.

화요일, 52페이지 분량의 캘리포니아 프론티어 정책 보고서가 공개되었습니다. 스탠퍼드 인간중심인공지능연구소(HAI)의 페이페이 리, UC 버클리의 제니퍼 투어 차예스 등이 공동 주도한 이 보고서는 개발사 스스로는 AI의 위험과 해악을 완전히 파악할 역량이 부족하다고 결론 내렸습니다.

연산량 기준 버리고 제3자 독립 감사로 전환

보고서에 따르면 SB 1047이 좌초된 이후에도 모델의 생각의 연쇄(CoT) 추론 역량은 급격히 발전했습니다. 화학, 생물, 방사능, 핵(CBRN) 무기 관련 위험 증거가 늘어났으며, 주요 빅테크들조차 자사 모델의 관련 능력이 가파르게 치솟았음을 자체 보고하는 상황입니다.

전문가 위원회는 과거의 학습 연산량(Compute) 중심 규제 기준을 전면 재검토했습니다. 훈련 기술이 빠르게 변하고 있어 연산량만으로는 실제 배포 환경에서의 위험을 측정할 수 없기 때문입니다. 연산량은 1차 스크리닝 도구로만 쓰고, 초기 위험 평가와 다운스트림 영향 평가에 집중해야 한다고 제안했습니다.

해결책의 핵심은 제3자 독립 평가 의무화입니다. 사내 평가나 외주 계약팀에 의존하는 현 방식은 한계가 분명하다는 지적입니다. 보고서는 독립 연구자들이 기업의 서비스 약관 위반 소송이나 법적 위협을 받지 않도록 세이프하버(면책 조항)를 마련하고, 내부 고발자 보호 및 피해 신고 체계를 구축할 것을 촉구했습니다.

굳게 닫힌 빅테크의 문턱

그러나 제3자 평가가 실효성을 가지려면 모델의 깊은 내부 접근 권한이 필수적입니다. 빅테크들은 이를 완강히 꺼리고 있습니다.

파트너십을 맺은 2차 평가 기관조차 데이터 접근에 어려움을 겪고 있습니다. OpenAI의 안전성 평가 파트너사인 Metr은 블로그를 통해 o3 모델을 평가할 때 이전보다 테스트 시간이 턱없이 부족했고 내부 추론 과정과 데이터 접근이 제한되어 신뢰할 수 있는 역량 평가를 내리기 어려웠다고 밝혔습니다.

앤트로픽의 다리오 아모데이 CEO는 최근 연방 차원의 투명성 기준을 마련해 기업들이 웹사이트에 위험 완화 계획을 자율 공개하자고 제안했으나, 이번 캘리포니아 보고서는 단순한 기업의 자율 공시만으로는 불투명성을 해소할 수 없다고 반박했습니다.

왜 중요한가

이번 보고서는 AI 안전 평가를 빅테크의 자율적 홍보 수단에서 법적 보호를 받는 공공 감사 영역으로 격상시키려는 시도입니다.

독립 보안 연구자들에게 세이프하버 보호는 소송 걱정 없이 대형 상용 모델의 결함을 파고들 수 있는 실질적인 방패가 됩니다. 반면 스타트업과 일반 개발자 입장에서는 경직된 연산량 기준이 완화되면서, 적은 자원으로 높은 효율을 내는 최신 아키텍처 모델이 불필요한 규제 족쇄를 차지 않게 되는 이점이 있습니다.

우리가 보기에 연산량 숫자에 매달리던 과거 방식을 버리고 실제 다운스트림 위험과 투명성에 집중한 것은 영리한 전환입니다. 모델 경량화와 추론 기술이 워낙 빨라 연산량 기준은 금세 무용지물이 되기 때문입니다. 하지만 기업 내부를 외부에 얼마나 강제로 열어젖힐 수 있을지는 여전히 거대한 숙제입니다. Metr 사태가 보여주듯 영업비밀을 내세운 빅테크의 폐쇄성을 뚫기란 쉽지 않습니다.

정치적 전선도 만만치 않습니다. 현재 공화당 주도 의회와 OpenAI 등 일부 기업들은 주 단위 AI 규제를 향후 10년간 동결하는 연방 모라토리엄을 추진 중입니다. 캘리포니아의 이 보고서가 주 단위의 상식적 표준을 선도할지, 아니면 워싱턴의 연방 법안에 가로막힐지가 향후 AI 거버넌스의 최대 관전 포인트입니다.