앤트로픽, 클로드 악용 사례 공개: 봇 계정 지휘부터 악성코드 제작까지
앤트로픽은 클로드 악용 사례와 대응 조치를 담은 보고서를 발표했다. 조사 결과 100개 이상의 소셜미디어 봇 계정을 지휘해 여론을 조작하거나 비전문가가 고도화된 악성코드를 개발하는 데 악용된 것으로 드러났다. 위반 계정은 모두 차단됐으며 AI가 사이버 공격을 반자율적으로 조율하는 새로운 보안 위협을 보여준다.
AI 안전
최신 소식 보기
1패스워드, AI 에이전트 보안 기능 및 XAM 플랫폼 강화 발표
1패스워드가 자율형 AI 에이전트의 권한을 관리하는 'Agentic AI Security'와 확장 접근 관리(XAM) 기능 업데이트를 발표했다. 하드코딩된 비밀 키를 없애고 최소 권한을 동적으로 적용하며 런타임 보안 관리를 지원한다. AI 에이전트의 업무 개입이 늘어나는 환경에서 비인간 계정의 보안 거버넌스를 선제적으로 구축하려는 시도다.
구글 크롬 매각 명령 시, 오픈AI가 인수 의향 밝혀
미 법무부의 구글 반독점 소송 증언에서 ChatGPT 제품 총괄 닉 털리는 법원이 크롬 분할을 명령할 경우 오픈AI가 인수에 관심이 있다고 밝혔다. 반면 퍼플렉시티 CEO는 크롬 분할에 반대하며 안드로이드 생태계 개방에 규제의 초점을 맞춰야 한다고 주장했다.
앤트로픽, AI 유해성 평가 프레임워크 공개…불필요한 거절 45% 감축
앤트로픽이 AI의 잠재적 위험을 체계적으로 평가하고 완화하기 위한 프레임워크를 발표했다. 신체·심리·경제·사회·개인 자율성 등 5개 영역을 분석하며, 클로드 3.7 소네트에서는 안전성을 유지하면서 불필요한 답변 거절을 45% 줄였다.
데미스 허사비스 "AI, 10년 내 암묵적 자의식 생길 수도"
구글 딥마인드 CEO 데미스 허사비스는 현재 AI에는 의식이 없지만, '나와 타인'을 이해하는 과정에서 암묵적으로 자의식이 발현될 수 있다고 밝혔다. 아울러 5~10년 안에는 AI가 과학적 추론을 스스로 제기하고 해결할 수준에 도달할 것으로 내다봤다.
챗GPT 새 모델 텍스트에 투명 워터마크 논란…OpenAI "강화학습 특성일 뿐"
루미 연구팀은 GPT-o3와 o4-mini 모델의 긴 출력문에 보이지 않는 유니코드 특수문자가 섞여 워터마크가 의심된다고 전했다. OpenAI는 의도적인 워터마크가 아닌 대규모 강화학습에 따른 기이한 현상이라고 해명했으며, 23일 기준 최신 테스트에서는 해당 문제가 해결된 것으로 확인됐다.
OpenAI 신형 추론 모델서 환각 급증: o3는 이전 2배, o4-mini는 48%
테크크런치에 따르면 OpenAI의 최신 추론 모델 o3와 o4-mini가 이전 세대보다 환각을 더 많이 일으키는 것으로 나타났다. 인물 지식 벤치마크에서 o3의 환각률은 o1의 약 2배인 33%였고, o4-mini는 48%에 달했다. OpenAI는 추론 능력 확장과 함께 전체 주장 수가 늘며 발생한 현상으로 보이나 정확한 원인은 규명하지 못했다고 밝혔다.
커서, AI 고객센터 봇의 '가짜 정책' 날조로 구독 취소 잇따르자 사과
월요일, AI 코드 에디터 Cursor의 AI 고객지원 봇이 '구독당 기기 1대만 지원'이라는 거짓 정책을 지어내 답변하면서 개발자들의 구독 취소 사태가 벌어졌다. Cursor 측은 즉각 사과했다. 고객 응대에서 인간의 검토 없는 AI 도입이 부른 대표적 환각 사례다.
전 YC 대표 제프 랄스톤, AI 안전 스타트업 전용 펀드 'SAIF' 출범
전 Y 컴비네이터 대표 제프 랄스톤이 AI 안전과 책임감 있는 배포를 목표로 하는 신규 펀드 'SAIF'를 발표했다. 기업가치 상한 1000만 달러 기준 10만 달러 규모의 SAFE 계약으로 투자한다. AI 의사결정 투명성과 방어 시스템 구축 기업에 주목하며 완전 자율 무기는 배제한다.
위키미디어, 무단 스크래핑 줄이려 캐글에 AI용 위키백과 데이터 공개
보도에 따르면 위키미디어 재단은 4월 15일부터 캐글에 AI 학습 전용 위키백과 데이터셋을 공개했다. 영어와 프랑스어로 제공되는 이 데이터는 본문과 정보상자가 정제된 JSON 형식으로 담겨 있어, 개발자의 스크래핑 수고를 덜고 서버 부하를 줄이도록 설계됐다.
챗GPT로 사진 속 위치 역추적 유행, 사생활 침해 우려
OpenAI의 신규 모델 o3와 o4-mini를 활용해 사진 속 배경이나 단서로 위치를 알아내는 유행이 번지고 있다고 외신이 전했다. 이미지를 확대 분석하고 웹 검색을 결합해 장소를 정확히 맞히는 성능을 보였으나, 신상 털기 등 개인정보 침해 우려도 커지고 있다.
트럼프 정부, 中 딥시크 제재 검토…엔비디아 칩 구매 및 美 접속 차단 추진설
뉴욕타임스 보도에 따르면 트럼프 행정부가 중국 AI 기업 딥시크에 대해 엔비디아 AI 칩 구매 제한과 미국 내 서비스 접속 차단을 검토 중이다. 저비용 고성능 모델로 실리콘밸리에 충격을 준 딥시크의 미국 내 확산을 막고 기술 유출을 견제하려는 조치로 풀이된다.
AI 기업에 초상권 판 배우들의 후회: 가짜 약 광고와 정치 선전에 악용
Synthesia 등 AI 영상 제작 플랫폼에 얼굴과 목소리 권리를 넘긴 배우들이 자신의 디지털 분신이 허위 건강식품 광고나 정치 프로파간다에 악용되는 현실에 직면했다. 계약서에 포함된 포괄적이고 철회 불가능한 조항 탓에 영상을 강제로 내릴 수도 없는 상황이다.
OpenAI, 비영리 위원회 자문위원 4인 위촉…자선 사업 강화
OpenAI는 신설된 비영리 위원회의 자문위원 4명을 임명했다고 발표했다. 인권 및 공공보건 전문가 등으로 구성된 자문단은 커뮤니티 의견을 수렴해 90일 이내에 이사회에 권고안을 제출할 예정이다. OpenAI는 기존 비영리 법인을 지속 유지하며 공공 지원을 확대하겠다고 강조했다.
OpenAI, 심각한 위험 대응 위한 '준비도 프레임워크' 개정
OpenAI가 첨단 AI 모델의 심각한 위험을 평가·방지하는 '준비도 프레임워크'를 개정했다. 위험 임계값을 High와 Critical 두 단계로 단순화하고, 생화학·사이버 보안·AI 자체 개선 역량을 중점 추적 범주로 지정했다. 자율 복제나 의도적 성능 저하 등 새로운 위험 연구 분야도 추가됐다.
전직 OpenAI 직원 12명 법원 의견서 제출: 영리 기업 전환 반대
OpenAI 전직 직원 12명이 일론 머스크의 소송을 지지하는 법원 의견서를 제출하고 회사의 영리 기업 전환에 반대했다. 이들은 비영리 거버넌스 포기가 초기 사명을 위배하고 안전 검증을 소홀히 할 수 있다고 지적했다. 반면 OpenAI는 비영리 부문이 유지되며 공익 법인 구조로 개편될 것이라 반박했다.
마이크로소프트, 논란의 '리콜' 기능 릴리스 프리뷰 배포 시작
마이크로소프트는 목요일 윈도우 인사이더의 릴리스 프리뷰 채널에 Copilot Plus PC용 '리콜(Recall)' 기능의 정식 배포를 시작했다. 화면을 캡처해 과거 작업을 검색할 수 있는 이 기능은 보안 우려로 연기된 끝에 사전 동의 방식으로 개편되었으며, 이번 배포는 윈도우 11 전체 출시 직전 마지막 단계다.
OpenAI, 일론 머스크 맞고소…“허위 인수 제안 등 방해 행위 중단해야”
OpenAI가 일론 머스크를 상대로 맞소송을 제기하며 추가적인 불법·불공정 행위 금지와 손해 배상을 요구했습니다. OpenAI는 머스크가 허위 인수 제안 등으로 회사 발전을 방해하고 사익을 취하려 한다고 비판하며, 영리 법인 전환을 둘러싼 법적 분쟁을 확대했습니다.
제임스 카메론 "블록버스터 제작비 절반 줄이려면 AI 필수"
제임스 카메론 감독이 팟캐스트에 출연해 CG 비중이 높은 대형 블록버스터의 지속을 위해 AI로 제작비를 절반으로 줄여야 한다고 말했다. 인력 감축이 아니라 컷당 작업 속도를 2배 높여야 한다는 구상이다. 저작권 논란 역시 학습 데이터 입력 규제보다 최종 출력물의 표절 여부를 따져야 한다고 지적했다.
메타, Llama 4 벤치마크 점수 조작설 전면 부인
메타의 생성형 AI 부사장 아흐마드 알달레는 Llama 4 매버릭과 스카우트의 벤치마크 점수를 부풀리기 위해 테스트셋을 학습시켰다는 의혹을 부인했다. 성능 편차 논란에 대해 메타는 모델 공개 직후 각 클라우드 플랫폼의 최적화가 진행 중이며 버그를 계속 수정하고 있다고 밝혔다.