구글, AI 보안 프레임워크 SAIF 공개: 프롬프트 주입과 데이터 오염 방어

최근 생성형 AI를 업무에 도입해 본 개발자라면 프롬프트 인젝션이 얼마나 골치 아픈 문제인지 알고 있을 것입니다. 교묘하게 작성된 명령어 몇 줄에 모델의 안전장치가 풀리고 내부 기밀 데이터가 그대로 노출되기도 합니다.

구글이 6월 8일 안전한 AI 구축을 위한 보안 가이드라인인 SAIF(Secure AI Framework)를 공개했습니다. 지난 수십 년간 엔터프라이즈 소프트웨어 보안에서 쌓아온 원칙들을 대형 언어 모델과 생성형 AI 환경에 맞게 재정의한 프레임워크입니다.

프롬프트 인젝션을 SQL 인젝션처럼 막는다

구글은 과거에도 공급망 보안 프레임워크인 SLSA나 제로 트러스트의 기반이 된 비욘드코프(BeyondCorp)처럼 업계 보안 표준을 주도해 왔습니다. 이번에 내놓은 SAIF 역시 6대 핵심 요소를 바탕으로 AI 공격 표면을 체계적으로 방어하는 데 초점을 맞춥니다.

첫 번째는 강력한 보안 기반의 확장입니다. 구글은 최근 문제가 되는 프롬프트 인젝션 공격이 전통적인 SQL 인젝션과 본질적으로 유사하다고 설명합니다. 기존 소프트웨어에서 쓰던 입력값 검증과 제한 기법을 적절히 변형해 적용하면 상당수의 공격을 차단할 수 있다는 설명입니다.

두 번째와 세 번째는 감지·대응 범위 확장과 자동화입니다. AI 모델의 입출력을 상시 모니터링해 이상 징후를 감지하고, 공격자가 AI를 활용해 공격 속도를 높이는 만큼 방어자 역시 머신러닝 기반의 자동화 툴로 대응해야 한다는 내용입니다.

이 밖에도 버텍스 AI(Vertex AI) 등 플랫폼 전반에 걸친 보안 통제 일원화, 지속적인 레드팀 훈련과 피드백을 통한 방어 모델 업데이트, 비즈니스 프로세스 맥락에 맞춘 엔드투엔드 위험 평가 등이 핵심 요소로 포함됐습니다.

취약점 포상금 확대와 글로벌 표준화 착수

구글은 개념 발표에 그치지 않고 SAIF를 업계 전반에 안착시키기 위한 5가지 실행 계획도 함께 내놨습니다.

우선 미국 국립표준기술연구소(NIST)의 AI 위험 관리 프레임워크와 업계 최초의 AI 인증 표준인 ISO/IEC 42001 개발에 참여해 SAIF의 원칙을 국제 표준에 반영할 계획입니다.

외부 보안 연구자들을 유인지하기 위한 금전적 보상도 늘립니다. 구글은 자사의 취약점 보상 프로그램(VRP) 범위를 AI 안전 및 보안 분야로 확대하고, 맨디언트(Mandiant)와 위협분석그룹(TAG)이 수집한 AI 대상 사이버 위협 인텔리전스를 외부에 공유하기로 했습니다.

또한 깃랩(GitLab), 코히시티(Cohesity) 등 협력사들과의 파트너십을 이어가는 한편, 개발자들이 SAIF 원칙을 직접 구현할 수 있도록 지원하는 오픈소스 보안 툴도 조만간 공개할 예정입니다.

왜 중요한가

생성형 AI 도입 열풍 속에서 마침내 실무진이 참고할 만한 구체적인 보안 엔지니어링 지침이 나왔다는 점에서 의미가 큽니다.

기업과 개발자 관점에서 SAIF는 지금 당장 적용해 볼 수 있는 훌륭한 체크리스트입니다. 고객 상담이나 사내 검색에 LLM을 연동할 때 학습 데이터 오염이나 모델 탈취, 프롬프트 인젝션에 취약한 상태로 방치된 경우가 많습니다. 입출력 모니터링과 입력값 정제 등 이미 검증된 조치부터 차근차근 점검하는 계기로 삼을 만합니다.

우리가 보기에 구글의 이번 행보는 매우 영리한 전략입니다. AI 보안을 미지의 블랙박스로 취급하는 대신 기존 엔터프라이즈 보안의 문법으로 번역해 주도권을 쥐려 하고 있습니다. 과거 비욘드코프로 제로 트러스트 시장을 이끌었듯, NIST와 ISO 표준 제정에 앞장서며 마이크로소프트 등 경쟁사보다 한발 앞서 엔터프라이즈 AI의 룰세터 자리를 선점하려는 모양새입니다.

다만 한계도 뚜렷합니다. 대형 언어 모델은 결정론적으로 작동하는 소프트웨어가 아니라 확률형 시스템입니다. 문맥과 뉘앙스가 무한히 변하는 자연어 프롬프트를 전통적인 SQL 입력값처럼 완벽하게 걸러내는 것은 구조적으로 불가능에 가깝습니다. SAIF를 방패 삼아 보안 체계를 세우는 것은 필수적이지만, 이것만으로 모든 공격을 원천 차단할 수 있다고 믿는 것은 금물입니다.