미 뉴욕주, 첨단 AI 안전 규제 'RAISE 법안' 통과: 위반 시 최대 3000만 달러 벌금

캘리포니아의 논란 많았던 AI 안전 법안 'SB 1047'이 거부권 행사로 무산된 이후, 주 정부 차원의 AI 규제 움직임은 동력을 잃은 듯 보였습니다. 하지만 뉴욕주가 다시 한번 규제의 깃발을 치켜들었습니다.

뉴욕주 의회는 현지 시간 목요일, 프론티어 AI 모델이 100명 이상의 사상자를 내거나 10억 달러 이상의 피해를 입히는 대형 재난을 방지하기 위한 'RAISE 법(RAISE Act)'을 통과시켰습니다.

이 법안은 현재 캐시 호컬 뉴욕주지사의 책상으로 넘어갔으며, 주지사는 법안에 서명해 통과시키거나 수정을 요구하거나 거부권을 행사할 수 있습니다.

노벨상 수상자인 제프리 힌튼과 인공지능 분야의 선구자 요슈아 벤지오를 포함한 안전 옹호론자들은 이번 법안을 적극 지지해 왔습니다. 주지사가 서명할 경우, 미국 내에서 주요 AI 연구소에 법적 투명성 기준을 의무화한 최초의 사례가 됩니다.

1억 달러 이상 투입된 프론티어 AI 겨냥

RAISE 법은 1억 달러 이상의 컴퓨팅 비용을 들여 훈련되었고 뉴욕주 거주자에게 제공되는 AI 모델을 정조준하고 있습니다. 현재 기준으로는 사실상 오픈AI, 구글, 앤트로픽과 같은 실리콘밸리 대기업이나 중국의 딥시크, 알리바바 등 소수의 거대 모델만 해당합니다.

해당 기업들은 최첨단 AI 모델에 대한 포괄적인 안전 및 보안 보고서를 의무적으로 발행해야 합니다. 또한 모델의 비정상적 행동이나 가중치 탈취와 같은 안전 사고가 발생할 경우 이를 주 정부에 반드시 보고해야 합니다.

이러한 기준을 충족하지 못할 경우 뉴욕주 검찰총장은 최대 3,000만 달러의 민사 벌금을 부과할 수 있는 권한을 갖게 됩니다.

법안 공동 발의자인 앤드루 구나르데스 뉴욕주 상원의원은 기술이 너무 빠르게 발전하고 있어 안전장치를 마련할 시간이 줄어들고 있다며, 전문가들이 경고하는 위험을 외면할 수 없었다고 밝혔습니다.

캘리포니아 실패 교훈 삼았지만 실리콘밸리는 반발

뉴욕주 의원들은 캘리포니아의 실패를 철저히 복기했습니다. 두 법안 작성에 모두 참여한 엔코드(Encode)의 네이선 캘빈 법률고문에 따르면, RAISE 법은 가장 큰 반발을 샀던 '킬 스위치(비상 정지 장치)' 조항을 완전히 삭제했습니다.

또한 기본 모델을 가져와 사후 훈련(미세조정)을 진행하는 2차 개발사나 스타트업이 대형 재난에 대한 법적 책임을 지지 않도록 면책 조항을 두었습니다.

그럼에도 실리콘밸리의 시선은 여전히 싸늘합니다. 벤처캐피털 a16z의 안제이 미드하 파트너는 X(구 트위터)를 통해 경쟁국들이 앞서 나가는 상황에서 미국의 발목을 잡는 멍청한 주 단위 법안이라며 강도 높게 비판했습니다.

연방 차원의 투명성 기준을 요구해 왔던 앤트로픽의 잭 클라크 공동 창업자 역시 법안 적용 범위가 지나치게 넓어 소규모 기업에 위험이 될 수 있다는 우려를 표했습니다. 이에 대해 구나르데스 상원의원은 애초에 중소기업을 제외하도록 설계된 법안이라며 번지수를 잘못 짚은 지적이라고 반박했습니다.

빅테크가 유럽에서처럼 뉴욕주 내 서비스 제공을 중단할 수 있다는 지적도 나옵니다. 하지만 공동 발의자인 알렉스 보레스 주 하원의원은 뉴욕주가 미국 내 3위의 경제 규모를 자랑하고 규제 부담도 상대적으로 가볍기 때문에 기업들이 실제로 철수할 경제적 이유는 없다고 일축했습니다.

왜 중요한가

트럼프 행정부와 실리콘밸리가 한목소리로 규제 완화와 혁신 속도를 외치는 분위기 속에서, RAISE 법의 통과는 AI 안전 진영이 거둔 보기 드문 입법적 승리입니다.

일반 이용자나 소프트웨어 개발자 입장에서는 당장 서비스를 쓰지 못할까 봐 불안해할 필요는 없어 보입니다. 1억 달러라는 명확한 훈련 비용 기준선을 세우고 미세조정 개발자의 책임을 면제함으로써, 오픈소스 생태계와 초기 스타트업이 규제 폭탄을 맞는 사태는 피했기 때문입니다.

산업적 측면에서는 주 단위 규제의 파편화가 가장 큰 불안 요소입니다. 연방 차원의 단일 규범이 부재한 상태에서 각 주마다 제각각의 보고 의무를 신설한다면, 결국 막대한 컴플라이언스 비용을 감당할 수 있는 극소수 거대 빅테크의 지배력만 공고해질 수 있습니다.

우리는 뉴욕주가 실현 불가능해 보였던 킬 스위치 조항을 과감히 덜어내고, 현실적인 보고서 공개와 사고 보고 의무에 집중한 점을 영리한 선택으로 봅니다. 호컬 주지사가 최종 서명한다면, 그동안 베일에 싸여 있던 최첨단 프론티어 모델 개발 과정에 최소한의 공적 투명성을 강제하는 중요한 선례가 될 것입니다.