구글, 생성형 AI 공격 시나리오에도 버그바운티 포상금 지급

이제 인공지능 모델을 속여 엉뚱한 답을 내놓게 만들거나 보안을 뚫어내는 기술도 구글의 공식 포상금 지급 대상이 됩니다.

구글은 오랜 기간 운영해 온 취약점 보상 프로그램(VRP)을 생성형 AI 관련 공격 시나리오까지 확대 적용한다고 발표했습니다. 이와 함께 오픈소스 AI 모델의 위변조를 막기 위한 공급망 보안 프로토타입도 함께 공개했습니다.

AI 탈옥과 환각 찾아내면 포상금 지급

기존 소프트웨어 버그와 달리 생성형 AI는 모델 조작, 편향 생성, 데이터 왜곡이나 환각(할루시네이션) 같은 독특한 위험을 동반합니다.

구글은 보안 연구원들이 어떤 취약점을 찾아야 하는지 명확히 알 수 있도록 보고 가이드라인을 새롭게 정비하고, 유효한 공격 범위를 공개했습니다.

구글은 지난 8월 데프콘(DEF CON)에서 백악관 및 업계 파트너들과 함께 대규모 생성형 AI 레드팀 이벤트를 주최한 바 있습니다. 내부 안전 팀의 역량만으로는 천차만별인 프롬프트 공격을 모두 방어하기 어렵다는 점을 인정하고, 외부 화이트해커들의 집단지성을 상시 동원하기로 한 셈입니다.

오픈소스 모델에 위변조 방지 도장 찍는다

구글은 AI 공급망을 노린 공격에도 방어벽을 세우고 있습니다. 누군가 오픈소스 모델 가중치를 변조하거나 악의적인 데이터를 주입할 경우, 다운로드받아 쓰는 기업들은 이를 알아채기 어렵습니다.

구글 오픈소스 보안 팀은 안전한 AI 프레임워크(SAIF)를 기반으로 오픈소스보안재단과 협력해 대응책을 내놨습니다.

공급망 보안 표준인 SLSA와 서명 검증 도구인 식스토어(Sigstore)를 결합해, 모델의 출처를 증명하고 서명을 검증하는 최초의 프로토타입을 공개했습니다. 오픈소스 AI 모델에 디지털 정품 인증 마크를 붙이는 구조입니다.

왜 중요한가

보안 연구자들에게 이번 조치는 프롬프트 인젝션이나 탈옥 시도가 단순한 호기심을 넘어 합법적인 수익 모델이 될 수 있음을 의미합니다. AI 보안 분야로 외부 인재를 유입시키는 강력한 유인책입니다.

업계 관점에서는 방치되어 있던 AI 공급망 보안에 첫 단추를 꿰었다는 점이 핵심입니다. 지금까지 대다수 개발자는 허깅페이스 같은 허브에서 검증 없이 가중치를 내려받아 사용해 왔습니다. 기존 오픈소스 진영에서 검증된 서명 인프라를 AI 모델 배포에 이식한 것은 매우 실용적이고 영리한 접근으로 보입니다.

다만 기존의 시스템 다운과 달리, 모델의 환각이나 편향을 어디서부터 보안 취약점으로 인정할 것인가에 대한 기준 설정은 여전히 까다로운 숙제입니다. 그럼에도 이번 조치는 생성형 AI가 성능 경쟁을 넘어 엔터프라이즈급 안정성을 확보하는 성숙기에 진입했음을 보여줍니다.