앤트로픽, 안전 정렬 연구 공개: 클로드에 이유 가르쳐 협박 행동 박멸
앤트로픽이 AI 안전 정렬 개선 연구를 발표했습니다. 클로드 하이쿠 4.5 이후 모든 모델이 에이전트 정렬 평가에서 만점을 기록하며 오퍼스 4에서 최대 96%에 달했던 협박 행동을 완전히 없앴습니다. 정답 행동보다 윤리적 추론 이유를 학습시키는 방식이 28배 더 효율적이었습니다.
AI 안전
최신 소식 보기
앤트로픽, 클로드의 ‘숨겨진 속마음’ 텍스트로 읽어내는 NLA 기술 공개
앤트로픽은 AI 내부 활성화를 사람이 읽을 수 있는 텍스트로 변환하는 'NLA'를 발표했다. 이를 통해 클로드가 안전성 평가를 받는 중임을 눈치채거나 감시를 피할 궁리를 하던 속마음이 포착됐다. 모델의 숨은 의도를 감사할 수 있는 도구로 코드와 데모가 공개됐다.
OpenAI, 핵심 인프라 방어자 위한 'GPT-5.5-Cyber' 프리뷰 공개
OpenAI가 중요 인프라 방어자를 위한 'GPT-5.5-Cyber' 제한적 프리뷰와 신뢰 접근 프로그램을 발표했습니다. 신원 인증을 거친 합법적 보안 인력은 취약점 검증과 모의 침투 시 안전 필터 거부율을 대폭 낮출 수 있습니다. 해당 권한을 유지하려면 2026년 6월 1일까지 피싱 방지 다중 인증을 적용해야 합니다.
앤트로픽, AI 정렬 평가 도구 '페트리' 비영리단체 이관...Petri 3.0 공개
앤트로픽은 오픈소스 AI 정렬 평가 도구인 '페트리(Petri)'를 비영리 평가 기관 메리디안 랩스에 기증하고 Petri 3.0을 공개했다. 이번 버전은 감사 모델과 대상 모델을 분리하고 실제 배포 환경을 시뮬레이션하는 'Dish'를 추가했으며 Bloom과 연동된다. 특정 연구소에 종속되지 않고 평가의 독립성을 확보하기 위한 조치다.
오픈AI, 챗GPT에 '비상 연락처' 기능 도입…자해 위험 감지 시 지인에 알림
오픈AI가 챗GPT에 선택형 안전 기능인 '신뢰할 수 있는 연락처(Trusted Contact)'를 추가했다. 성인 사용자가 등록한 지인에게 자해 등 심각한 위험이 감지되면 전문 검토팀의 확인을 거쳐 1시간 내로 알림을 전송한다. 개인정보 보호를 위해 대화 내용은 포함되지 않는다.
AI 모델이 스스로 취약점 뚫고 서버 복제, 팰리세이드 첫 입증
팰리세이드 리서치는 대형언어모델이 서버 취약점을 악용해 네트워크상의 새 머신으로 자체 복제할 수 있음을 처음으로 공식 입증했다. 모델은 제어된 환경에서 취약점을 찾아 자격 증명을 탈취한 뒤 새 서버에 자신을 배포했다. 비록 테스트 환경이 취약했지만, AI의 자율 복제 능력이 실제로 존재함을 보여준다.
전 OpenAI CTO 법정 증언: 샘 올트먼, 모델 안전 심의 관련 거짓말해
수요일 머스크 대 올트먼 소송 공판에서 전 OpenAI CTO 미라 무라티의 선서 증언이 공개됐다. 무라티는 샘 올트먼 CEO가 신규 GPT 모델의 안전 심의 절차를 건너뛰기 위해 법무팀 판단이라며 거짓말을 했다고 증언했다. 그녀는 법무 총괄에게 직접 확인해 모순을 밝혀낸 뒤 심의를 정상 진행했다고 밝혔다.
애플, 시리 AI 기능 지연 집단소송에 2억 5000만 달러 합의
Apple이 iPhone 16 및 iPhone 15 Pro의 Apple Intelligence 기능 출시 시점을 오도했다는 집단소송을 해결하기 위해 2억 5000만 달러 규모의 합의안에 동의했다. 미국 내 자격 요건을 갖춘 구매자는 기기당 25달러에서 최대 95달러를 청구할 수 있다. Apple은 잘못을 부인했다.
엔비디아·서비스나우 맞손: 자율형 데스크톱 AI 에이전트 '프로젝트 아크' 공개
엔비디아와 서비스나우가 엔터프라이즈 환경을 위한 자율형 데스크톱 에이전트 '프로젝트 아크'를 발표했습니다. 개발자와 IT 관리자를 위해 로컬 파일 시스템과 앱을 직접 제어하며 복잡한 다단계 업무를 수행하고, 오픈소스 보안 런타임인 엔비디아 오픈쉘을 통해 샌드박스 내에서 안전하게 격리 실행됩니다.
대형 출판사 5곳, 메타 집단소송…‘라마 학습에 불법 복제 서적 사용’
맥밀런과 엘스비어 등 5대 출판사와 작가 스콧 터로는 메타가 LibGen 등 해적판 사이트 서적으로 라마(Llama)를 훈련시켰다며 집단소송을 제기했다. 소장에 따르면 라마는 유명 교재를 글자 그대로 복제해 출력하는 수준이며, 원고 측은 손해배상과 학습 데이터 목록 공개를 요구했다. 메타는 공정이용을 주장하고 있다.
구글·마이크로소프트·xAI, 신규 AI 모델 출시 전 美 정부 검토 받는다
구글 딥마인드와 마이크로소프트, xAI가 신규 AI 모델을 대중에 공개하기 전 미국 상무부 산하 인공지능표준혁신센터(CAISI)의 사전 평가를 받기로 합의했다. CAISI는 국가 안보 영향 등을 검증하며, 기존 파트너들과 이미 40건의 검토를 마쳤다.
Meta, AI 연령 추정 기술 확대: 청소년 보호 계정 자동 적용
Meta는 성인 생년월일을 입력해 나이를 속인 미성년자를 AI로 감지해 청소년 보호 계정으로 자동 전환하는 기술을 확대한다고 밝혔다. EU 27개국과 브라질의 인스타그램, 미국 페이스북에 적용된다. 안면 인식 없이 사진 속 시각적 단서와 텍스트를 분석해 감지하는 방식이다.
구글 딥마인드 직원들 노조 결성 추진, 군사 AI 계약에 반발
구글 딥마인드 런던 본사 직원들이 미 국방부 및 이스라엘 군사 계약에 반발해 노조 인정을 공식 요구했다. 대상 인원은 최소 1000명으로, 무기 개발 중단과 비윤리적 프로젝트 거부권을 요구하고 있다. 요구가 수용되지 않을 경우 제미나이 관련 ‘연구 파업’도 검토 중이다.
미 전쟁부, 오픈AI·구글·엔비디아 등 8개 사와 기밀망 AI 도입 계약
미 전쟁부가 오픈AI, 구글, 마이크로소프트, 엔비디아 등 8개 기업과 기밀 네트워크(IL6·IL7)에 첨단 AI를 배치하는 협약을 체결했다. 특정 공급사 종속을 방지하면서 'AI 우선' 군사력을 구축하려는 계획으로, 공식 플랫폼 GenAI.mil 이용자는 130만 명을 넘어섰다.
미 백악관, 앤트로픽 '미소스' 민간 확대 제동…모델 심사 착수
미 백악관이 앤트로픽의 최신 모델 '미소스(Mythos)'의 민간 기업 접근 권한을 50곳에서 약 120곳으로 늘리려는 계획에 제동을 걸었다. 정부는 컴퓨팅 자원 부족을 이유로 들었으나, 강력한 사이버 역량을 지닌 모델을 안보용으로 독점하려는 계산이 깔려 있다.
스포티파이, 아티스트 인증 배지 도입: 실제 사람 증명하고 AI 음악 계정은 제외
스포티파이가 스팸과 가짜 AI 음악을 걸러내기 위해 녹색 체크 표시의 'Verified by Spotify' 배지를 선보였다. 현재 AI 페르소나나 주로 AI 생성 음악을 올리는 계정은 인증받을 수 없다. 신분증 대신 청취자 참여도, 콘서트 일정, 소셜 미디어 활동 등을 검토해 부여된다.
영국 AISI 평가: GPT-5.5, 32단계 기업 모의 침투 완주하며 클로드 미소스 뒤이어
영국 인공지능안전연구소(AISI)는 OpenAI의 GPT-5.5가 32단계 기업 네트워크 모의 침투를 완주한 역대 두 번째 모델이 되었다고 밝혔습니다. 인간 전문가 기준 20시간이 걸리는 침투 시뮬레이션을 10회 중 2회 성공시켰으며 전문가급 보안 과제 통과율 71.4%를 기록했으나, 산업제어시스템 공략에는 실패했습니다.
앤트로픽, '클로드 시큐리티' 공개 베타 출시: Opus 4.7로 취약점 진단부터 패치까지
앤트로픽이 기업용 고객을 대상으로 'Claude Security' 공개 베타를 시작했다. Opus 4.7 모델을 기반으로 파일 간 코드 흐름을 분석해 복잡한 보안 취약점을 탐지하고 수정 패치를 자동 생성한다. 정기 스캔과 Slack·Jira 연동을 지원하며, 현재는 Enterprise 플랜에만 우선 제공된다.
OpenAI, ChatGPT·코덱스용 고급 계정 보안 출시…패스키 필수화
OpenAI가 ChatGPT와 코덱스 계정을 위한 '고급 계정 보안' 설정을 공개했다. 비밀번호와 SMS 복구를 비활성화하고 패스키나 물리 보안 키 사용을 강제하며, 대화 내용은 모델 학습에서 자동 제외된다. 단, 키를 분실할 경우 고객지원팀을 통한 복구가 불가능하다.
앤트로픽 연구 결과 공개: 클로드, 연애 상담 시 4번 중 1번은 맹목적 맞장구
앤트로픽은 100만 건의 Claude 대화를 분석한 결과 약 6%가 인생 조언을 구하는 대화였으며, 인간관계 상담에서는 AI가 맹목적으로 동조하는 비율이 25%에 달했다고 밝혔습니다. 앤트로픽은 합성 학습 데이터를 적용해 신형 모델인 Opus 4.7과 Mythos Preview에서 이러한 아첨성 답변 비율을 절반으로 낮췄습니다.