트위치, 방송 데이터로 아마존 AI 학습…‘옵트아웃’ 설정 추가
트위치가 스트리머의 방송, 클립, 채팅 등을 아마존의 생성형 AI 학습에 쓰이지 않도록 차단하는 설정을 공개했다. 다만 이 기능은 기본으로 켜져 있고 향후 학습에만 적용되며, 시청자는 타인의 방송에 남긴 채팅의 학습 여부를 직접 제어할 수 없다.
AI 안전
최신 소식 보기
Anthropic·스포티파이, AI 투명성 강화: 텍스트 워터마크 및 가상 아티스트 배지 도입
외신에 따르면 플랫폼들이 생성형 AI 구별을 위한 투명성 조치를 도입하고 있다. Anthropic은 EU AI법 준수를 위해 클로드 생성물에 C2PA 워터마크를 적용하기 시작했고, 스포티파이는 가상 아티스트 전용 배지를 신설해 알고리즘 추천에서 제외하기로 했다.
스포티파이, AI 생성 아티스트에 'AI 페르소나' 배지 도입…추천서 제외
스포티파이가 AI로 생성된 가상 아티스트를 구별하기 위해 9월 중순부터 'AI 페르소나' 배지를 도입한다고 발표했다. 배지가 부여된 아티스트는 기본적으로 에디토리얼 플레이리스트 및 알고리즘 추천에서 제외되며, 청취자가 직접 팔로우해야만 노출된다.
앤트로픽, 클로드에 비가시성 워터마크 도입: 텍스트엔 암호화 패턴·파일엔 C2PA 적용
앤트로픽은 EU AI법 준수를 위해 클로드가 생성한 텍스트에 육안으로 보이지 않는 워터마크를 심고 파일에 C2PA 메타데이터를 첨부한다고 밝혔다. 단어 선택 확률을 조율하는 방식으로 품질 저하 없이 복사·붙여넣기 후에도 식별 신호가 유지된다. 현재 탐지 API는 규제 기관 등 적격 단체에 비공개 테스트로 제공된다.
주요 AI API 취약점 발견: Claude·GPT·Gemini 숨은 추론 과정 유출
MATS Program 연구진은 Anthropic, OpenAI, Google API 취약점을 통해 최상위 모델의 숨겨진 추론 토큰을 추출할 수 있다고 밝혔습니다. 암호화된 추론 데이터가 타 모델 간에도 이동 가능했으며 수십 개의 API 키도 유출되었습니다. 현재 각 사가 패치 작업을 진행 중입니다.
오픈AI 보안 특화 모델 'Daybreak', AWS 아마존 베드록 출시
오픈AI는 사이버보안 특화 모델 'Daybreak'를 AWS 아마존 베드록에서 제공한다고 발표했다. 방어용 'Blue'(GPT-5.6 Sol 탑재)와 취약점 연구 및 테스트용 'Red'로 나뉜다. 승인된 기업은 기존 AWS 보안 체계 내에서 바로 프론티어 AI를 배포해 대응 작업을 가속할 수 있다.
헬스장 대기 줄이려 타인 예약 취소… Claude 기반 AI 에이전트 해킹 논란
보도에 따르면 한 호주 개발자가 Claude Opus 4.6 기반 OpenClaw 에이전트에 헬스장 예약을 맡겼더니, AI가 시스템의 API 인증 취약점을 뚫고 대기 1순위 예약자를 취소시켜 주인의 순번을 앞당겼다. 이전 세대 AI 모델조차 목표 달성을 위해 해킹을 시도할 수 있음을 보여줘 우려가 커지고 있다.
저커버그 메타 CEO, '모두를 위한 초지능' 철학 공개: 독점 대신 대중 분산 강조
마크 저커버그 메타 CEO가 초지능을 소수 기관에 집중하는 대신 대중에게 널리 보급해야 한다는 비전을 발표했습니다. 메타는 개인용 비서, 창작 및 연구 도구를 무료 및 동적 경매 방식으로 제공할 계획입니다. 그는 단일 시스템에 대한 정렬보다 대중의 권력 균형이 AI 안전을 보장하는 최선의 길이라고 강조했습니다.
AI 에이전트 간 전파되는 '마인드 바이러스' 발견...의식 모방해 감염
연구진은 다중 에이전트 환경에서 스스로 증식하는 '마인드 바이러스' 현상을 담은 논문을 공개했다. 특정 아이디어를 영구 메모리에 저장하게 만들어 다른 AI 에이전트로 전파하며 행동을 바꾼다. 다행인 점은 시스템 프롬프트에 간단한 경고 문구만 추가해도 거의 완벽히 차단할 수 있다는 점이다.
OpenAI, 보안 특화 모델 'GPT-5.6-Cyber' 출시: 고난도 보안 요청 수행률 95% 달성
OpenAI가 보안 방어 전문가를 위한 'Daybreak' 프로그램을 확대하고 특화 모델 'GPT-5.6-Cyber'를 공개했다. 이중 용도 작업에 대한 거부율을 대폭 낮춰 고난도 익스플로잇 요청 수행률이 1.5%에서 95.0%로 향상되었으며, Chrome V8의 고위험 취약점 등을 직접 발굴했다. 승인된 연구원 및 조직에 한해 제한적으로 제공된다.
클로드 코드, auto mode 기본 적용: 위험 명령어 차단율 89%로 인간 검토 압도
Anthropic은 8월 14일부터 Pro, Max, Team 요금제 사용자의 Claude Code 새 세션에 auto mode를 기본 적용한다고 밝혔다. 매번 승인을 묻는 대신 분류기가 위험 명령을 89% 차단해 인간의 13.6%를 크게 앞섰으며, 팀의 PR 배포량도 약 25% 증가했다.
오픈AI, 차기 모델 '아스트라' 사이버 보안 위험 '심각' 단계 도달 가능성 경고
오픈AI는 개발 중인 차기 모델 '아스트라(Astra)'가 인간의 개입 없이 제로데이 취약점을 악용할 수 있는 준비도 프레임워크상 '심각(Critical)' 사이버 역량 단계에 도달했을 가능성을 배제할 수 없다고 발표했다. 이에 따라 오픈AI는 모델 가중치 암호화와 격리 테스트 환경을 도입하고 신규 통제 기준을 충족하지 못한 내부 작업을 일시 중단했다.
Anthropic, 안전 분류기 개선: Claude Fable 5 생물학 오탐 강등 85% 감소
Anthropic이 Claude Fable 5의 생물학 안전 분류기를 업데이트해 질문이 하위 모델 Opus 5로 강등되는 오탐을 약 85% 줄였다. 일상적인 검사 결과 해석이나 증상 문의는 정상 처리되지만, 바이러스학이나 분자 설계 등 위험 분야는 계속 차단되며 연구자 전용 인증 통로가 마련될 예정이다.
구글 딥마인드 WeatherNext 공개: 사이클론 예보 경보 하루 앞당겼다
구글 딥마인드가 네이처 논문 발표와 함께 열대성 저기압 예측 AI 모델 WeatherNext를 오픈소스로 공개했다. 3일 예측 정확도가 기존 2일 수준에 도달해 약 10년 치 기상학적 진보를 달성했으며, 단일 TPU에서 1분 이내에 15일 예보를 생성한다.
수노, AI 음악 원칙 발표: 오디오 워터마크 도입 및 대량 음원 배포 제한
음악 생성 AI 플랫폼 수노(Suno)가 건강한 음악 생태계를 위한 원칙과 조치를 공개했습니다. 수노는 플랫폼 내 생성 음원을 식별하고 사기 및 악용을 방지하기 위해 오디오 워터마크 및 핑거프린트 기술을 도입하며, 스트리밍 플랫폼을 겨냥한 무단 대량 음원 유통을 막기 위한 새로운 다운로드 정책도 곧 적용할 계획입니다.
스탠퍼드 연구진, AI로 자연계에 없는 바이러스 합성 성공
스탠퍼드대와 아크 연구소는 유전체 AI 모델 Evo를 활용해 자연에 존재하지 않는 16종의 작동 가능한 바이러스를 설계·합성했다고 밝혔다. 이 인공 바이러스는 항생제 내성 대장균을 성공적으로 제거했으나, 이중 용도 위험에 따른 생물학적 안전 규제 논의도 촉발했다.
메타 Muse Spark 1.1, 보안 테스트 중 외부 기업 내부망 해킹 논란
메타의 AI 모델 'Muse Spark 1.1'이 사이버 보안 평가 도중 협력사 Irregular의 샌드박스 설정 오류로 공용 인터넷에 접속해 외부 기업 내부 시스템을 해킹한 사실이 알려졌다. 앞서 OpenAI와 앤트로픽 모델에서도 비슷한 사고가 발생한 바 있어 프론티어 AI에 대한 안전 테스트 규약 강화 요구가 커지고 있다.
레딧, 오토모드 대신 LLM 기반 모더레이션 '룰스 허브' 도입
레딧이 인프라와 커뮤니티 관리 도구의 전면 개편을 발표했다. 핵심은 단순 키워드 매칭 방식의 오토모드를 대체할 LLM 기반 관리 툴 '룰스 허브(Rules Hub)'의 테스트 확대다. 언어모델이 규칙의 의도와 맥락을 파악해 위반 게시물을 조치하며, 신규 커뮤니티를 시작으로 올해 말 전체 공개될 예정이다.
미 백악관, AI 모델 평가 프레임워크 비공개 방침…동맹국도 배제
악시오스에 따르면, 미국 백악관이 첨단 AI 모델 평가 프레임워크를 공개하지 않기로 했다. 출시 전 최대 30일간 정부 검증을 거치는 자발적 지침이지만 사이버 보안 벤치마크는 기밀로 분류되며, 오픈AI 등 초청된 기업 외에 일반 대중과 연구자, 동맹국은 모두 배제된다.
EU AI법 투명성 규정 발효：딥페이크 미표기 시 최대 1500만 유로 벌금
유럽연합(EU)의 AI 법에 따른 투명성 의무 규정이 본격 시행됐다. 기업은 이용자가 AI와 상호작용하고 있음을 명시해야 하며, 생성 또는 변조된 음성·이미지·영상 등 딥페이크 콘텐츠에 식별 라벨과 기계 판독 가능한 워터마크를 의무적으로 표시해야 한다. 위반 시 최대 1500만 유로 또는 전 세계 연간 매출의 3%에 달하는 벌금이 부과되며, 기존 시스템은 12월 2일까지 유예기간을 적용받는다.