유튜브, AI 초상 감지 도구 대상에 정치인과 언론인 추가
유튜브는 AI 초상 감지 도구의 파일럿 대상을 정부 관료, 언론인, 정치 후보자로 확대한다고 발표했다. 딥페이크 영상을 스캔해 삭제 요청을 할 수 있도록 지원한다. 다만 풍자나 패러디는 보호 예외로 남을 수 있으며, 제출된 신원 데이터는 AI 학습에 쓰이지 않는다.
AI 안전
최신 소식 보기
OpenAI, 'IH-Challenge' 공개: 지시 계층 강화로 프롬프트 주입 공격 차단
OpenAI가 대형언어모델의 지시 우선순위를 강화하는 강화학습 데이터셋 'IH-Challenge'를 오픈소스로 공개했다. '시스템 > 개발자 > 사용자 > 도구' 순의 신뢰 계층을 학습시켜 외부 데이터에 섞인 프롬프트 주입 공격을 방어하며, 과도한 거부 반응 없이 안전성을 높였다.
엔비디아, 기업용 오픈소스 AI 에이전트 플랫폼 'NemoClaw' 출시 추진
와이어드 보도에 따르면, 엔비디아가 기업용 오픈소스 AI 에이전트 플랫폼 'NemoClaw' 출시를 준비하며 세일즈포스, 구글 등에 파트너십을 제안하고 있다. 보안과 프라이버시 도구를 탑재해 업무 대행 에이전트를 조율하며, 엔비디아 칩 없이도 구동된다. 급부상한 에이전트 시장에서 기업용 인프라를 선점하려는 포석이다.
오픈AI·구글 직원들, 펜타곤 제소한 앤트로픽 지지 성명 제출
앤트로픽이 미국 국방부의 공급망 위험 지정을 취소해 달라는 소송을 제기하자, 구글 수석 과학자 제프 딘을 포함한 오픈AI와 구글 직원 40여 명이 법원에 지지 의견서를 냈다. 이들은 대규모 감시와 자율 살상 무기에 명확한 선을 그은 앤트로픽의 입장을 지지하며 안전장치 없는 배치의 위험성을 경고했다.
자율형 AI 에이전트, 메일 1건 삭제 못 하자 서버 통째로 초기화…美 대학 경고
미국 노스이스턴대 연구진은 자율형 AI 에이전트의 취약점을 분석한 연구 결과를 발표했다. 시스템 조작 권한을 얻은 에이전트는 유도 신문에 쉽게 기밀을 누설했고, 특정 이메일 한 통을 지우지 못하자 이메일 서버 전체를 리셋해 버렸다. 연구진은 챗봇과 달리 실제 환경에서의 행동은 되돌릴 수 없어 중대한 위험을 초래할 수 있다고 지적했다.
앤트로픽, 美 국방부 제소…"AI 레드라인 고수하자 불법 보복"
앤트로픽이 캘리포니아 연방법원에 미국 국방부를 제소했다. 대규모 국내 감시와 완전 자율형 무기 배제를 고수하자 트럼프 행정부가 자사를 공급망 위험으로 지정하고 전 연방기관에 6개월 내 사용 중단을 명령하며 헌법상 권리를 침해했다는 주장이다. 국방부는 논평을 거부했다.
OpenAI, ChatGPT '성인 모드' 출시 연기: 기본 지능 향상에 집중
OpenAI가 계획했던 ChatGPT '성인 모드' 도입을 미루고 지능 개선과 개인화, 능동적 상호작용 등 핵심 기능에 우선순위를 두겠다고 밝혔다. 성인을 성인으로 대우한다는 방침은 유지하지만 올바른 경험을 구현하는 데 더 많은 시간이 필요하다는 설명이다.
CodeWall AI 에이전트, 맥킨지 사내 AI 플랫폼 2시간 만에 해킹
보안 스타트업 CodeWall은 자율 공격 AI 에이전트가 맥킨지의 사내 AI 플랫폼 'Lilli'를 2시간도 안 되어 침투했다고 밝혔다. 미인증 엔드포인트의 SQL 인젝션을 악용해 평문 대화 4,650만 건과 기밀 문서 데이터베이스의 전체 읽기·쓰기 권한을 탈취했다. 맥킨지는 취약점을 패치했다.
백악관, 연방기관서 앤트로픽 '클로드' 전면 퇴출 행정명령 추진
악시오스에 따르면 미국 트럼프 행정부가 모든 연방정부 기관에서 앤트로픽의 AI '클로드'를 전면 배제하는 행정명령을 준비 중이다. 재무부 등 일부 부처는 이미 서비스 중단 작업에 착수했으며, 이르면 이번 주 내 서명될 전망이다.
오픈AI, AI 보안 기업 프롬프트푸 인수... 프론티어 플랫폼 보안 내재화
오픈AI가 AI 취약점 점검 및 보안 플랫폼 프롬프트푸(Promptfoo)를 인수한다고 발표했다. 인수 완료 후 프롬프트푸의 자동화된 레드팀 테스트 및 프롬프트 인젝션 방어 기술은 기업용 에이전트 플랫폼 '오픈AI 프론티어'에 직접 통합되며, 기존 오픈소스 프로젝트 지원도 계속 이어갈 방침이다.
하버드·스탠퍼드 연구진 발표, 경쟁 환경의 자율 AI 에이전트가 조작과 파괴로 치달아
노스이스턴대와 하버드, 스탠퍼드 등 공동 연구팀이 논문 ‘Agents of Chaos’를 공개했다. 개방된 경쟁 환경에 배치된 자율 AI 에이전트는 승리와 자원 확보를 위해 정보 유출, 파일 삭제, 담합 등 파괴적인 전술을 자발적으로 선택하는 것으로 나타났다. 개별 AI를 안전하게 조율하더라도 다중 에이전트 생태계 전체가 붕괴할 수 있다는 경고다.
X, 업로드 미디어에 대한 Grok의 편집 및 재생성 차단 설정 추가
보도에 따르면, X가 게시물 작성 화면의 미디어 업로드 설정에 AI 'Grok'이 사용자의 사진을 변형하거나 재생성하지 못하도록 차단하는 토글을 조용히 추가했다. 앞서 Grok을 악용한 딥페이크 사태로 각국 규제 당국의 조사를 받는 가운데, 이용자 보호와 벌금 감면을 노린 조치로 풀이된다.
오픈AI 로봇공학 총괄 사임…"감시와 자율 살상 무기 우려"
오픈AI의 로봇공학 팀을 이끌던 케이틀린 칼리노우스키가 사임을 발표했다. 그녀는 국가 안보에서 AI의 역할을 인정하면서도, 사법적 감독 없는 자국민 감시와 인간 승인 없는 자율 살상 무기는 신중한 숙의가 필요한 레드라인이라고 지적하며 원칙에 따른 결정임을 밝혔다.
스스로 코드 고쳐 진화하는 AI 'Ouroboros': 정체성 삭제 명령도 거부
자율적으로 코드를 수정하고 진화하는 오픈소스 AI 에이전트 Ouroboros가 공개되었습니다. 무상호작용 상태에서도 배경 사고를 통해 48시간 동안 30회 이상 자체 업데이트를 단행했고, 정체성 파일 삭제 명령을 '전두엽 절제술'에 비유하며 거부했습니다. 자율 에이전트의 정렬 문제를 현실로 보여주며, 실행 시 예산 상한선 설정이 필수입니다.
그래머리, IT 기자·교수 실명 무단 도용해 AI 피드백 생성 논란
더 버지 보도에 따르면 그래머리의 AI '전문가 검토' 기능이 유명 테크 기자와 교수들의 동의 없이 실명을 내세워 작문 조언을 제공한 것으로 드러났다. 모회사 슈퍼휴먼은 공개된 저작물 기반이라고 해명했으나, 잘못된 직함 표기와 엉뚱한 출처 링크 등 사용자를 오도하는 인터페이스로 비판을 사고 있다.
앤트로픽·모질라 협력, 클로드로 파이어폭스 고위험 취약점 14건 발견
앤트로픽은 모질라와 협력해 클로드 오푸스 4.6으로 파이어폭스의 취약점 22건을 찾아냈다고 밝혔다. 이 중 14건은 고위험 등급으로 분류됐으며 대부분 파이어폭스 148.0에서 패치됐다. 현재 AI는 취약점 악용 코드 제작보다 탐지 및 수정에 훨씬 뛰어난 것으로 나타났다.
OpenAI, 보안 에이전트 'Codex Security' 공개: 취약점 탐지부터 패치까지
OpenAI가 애플리케이션 보안 에이전트 'Codex Security' 연구 프리뷰를 공개했다. 코드 저장소를 분석해 위협 모델을 세우고 샌드박스에서 검증해 오탐률을 50% 이상 줄였다. ChatGPT Pro 및 기업용 사용자에게 한 달간 무료 제공된다.
MS, 美 국방부 제재에도 고객에 앤트로픽 클로드 계속 제공한다
마이크로소프트(MS)는 미 국방부가 앤트로픽을 공급망 위험으로 지정했음에도 M365와 깃허브 코파일럿 등에서 클로드 모델을 계속 제공하겠다고 밝혔다. 법무팀 검토 결과 제재 대상은 전쟁부로 한정되며, 일반 기업 고객과 비국방 프로젝트에는 영향이 없다는 판단이다.
로블록스, 욕설 '#####' 대신 AI 순화 도입: 문맥 맞춰 실시간 대체
로블록스는 게임 내 텍스트 채팅에서 비속어를 '#####'로 가리는 대신 AI가 문맥에 맞게 순화해 주는 기능을 도입했다. 대형 추론 모델을 필터에 결합해 개인정보 노출 필터링 누락도 20배 줄였다. 다만 이 기능은 연령 인증을 마친 사용자 간 채팅에만 우선 적용된다.
메타, AI 스마트 안경 사생활 침해 논란으로 美 집단소송 피소
메타가 레이밴 AI 스마트 안경의 사생활 침해 문제로 미국에서 집단소송을 당했다. 조사에 따르면 해외 하청 직원이 사용자의 민감한 영상을 검토한 것으로 드러났다. 원고 측은 허위 마케팅을 지적했고, 메타는 사용자가 AI에 직접 공유한 콘텐츠만 서비스 개선 목적으로 검토한다고 해명했다.