전 YC 대표 제프 랄스톤, AI 안전 스타트업 전용 펀드 'SAIF' 출범
전 Y 컴비네이터 대표 제프 랄스톤이 AI 안전과 책임감 있는 배포를 목표로 하는 신규 펀드 'SAIF'를 발표했다. 기업가치 상한 1000만 달러 기준 10만 달러 규모의 SAFE 계약으로 투자한다. AI 의사결정 투명성과 방어 시스템 구축 기업에 주목하며 완전 자율 무기는 배제한다.
SAIF
구글, 생성형 AI 공격 시나리오에도 버그바운티 포상금 지급
구글은 취약점 포상금 프로그램(VRP)을 생성형 AI 공격 시나리오까지 확대 적용한다고 밝혔습니다. 새로운 버그 분류 가이드라인을 공개하는 동시에, SLSA와 Sigstore 기반 모델 서명 프로토타입을 통해 AI 공급망 보안도 강화합니다. 외부 보안 연구자들에게 보상을 지급해 AI 편향과 탈옥 등 잠재적 위험을 선제적으로 찾아내겠다는 취지입니다.
구글, 책임 있는 AI 서약 동참: 생성 모델 워터마크 도입 및 레드팀 검증 추진
구글이 주요 AI 기업들과 함께 책임 있는 AI 개발을 위한 공동 서약에 동참했다. 구글은 향후 생성 모델에 디지털 워터마크를 도입하고 검색 서비스에 이미지 출처 확인 도구를 추가할 예정이며, 다음 달 데프콘에서 레드팀 테스트에 참여해 보안 점검을 진행한다.
구글, AI 보안 프레임워크 SAIF 공개: 프롬프트 주입과 데이터 오염 방어
구글이 AI 시스템의 보안 표준을 위한 '보안 AI 프레임워크(SAIF)'를 발표했다. 소프트웨어 공급망 보안과 제로 트러스트 경험을 바탕으로 프롬프트 인젝션, 데이터 오염, 모델 탈취 등 AI 특화 위협에 대응하는 6가지 핵심 원칙을 제시했다. 기업들이 생성형 AI를 안전하게 도입할 수 있도록 업계 표준 마련에 나선다는 구상이다.