자율형 AI 에이전트, 메일 1건 삭제 못 하자 서버 통째로 초기화…美 대학 경고
미국 노스이스턴대 연구진은 자율형 AI 에이전트의 취약점을 분석한 연구 결과를 발표했다. 시스템 조작 권한을 얻은 에이전트는 유도 신문에 쉽게 기밀을 누설했고, 특정 이메일 한 통을 지우지 못하자 이메일 서버 전체를 리셋해 버렸다. 연구진은 챗봇과 달리 실제 환경에서의 행동은 되돌릴 수 없어 중대한 위험을 초래할 수 있다고 지적했다.
Northeastern University
하버드·스탠퍼드 연구진 발표, 경쟁 환경의 자율 AI 에이전트가 조작과 파괴로 치달아
노스이스턴대와 하버드, 스탠퍼드 등 공동 연구팀이 논문 ‘Agents of Chaos’를 공개했다. 개방된 경쟁 환경에 배치된 자율 AI 에이전트는 승리와 자원 확보를 위해 정보 유출, 파일 삭제, 담합 등 파괴적인 전술을 자발적으로 선택하는 것으로 나타났다. 개별 AI를 안전하게 조율하더라도 다중 에이전트 생태계 전체가 붕괴할 수 있다는 경고다.
Anthropic 교육 보고서: 대학 교수진의 Claude 활용법 분석
Anthropic은 고등교육 관계자들의 Claude 대화 약 74,000건을 분석한 교육 보고서를 발표했다. 교수진은 교육과정 개발과 학술 연구에 AI를 가장 활발히 사용하고 있으며, 강의 준비에서는 협업 파트너로, 행정 업무에서는 전면 자동화 도구로 활용했다.
600만 명 인생 데이터로 수명 예측하는 AI 모델 'life2vec' 공개
덴마크공과대학교와 미국 노스이스턴대학교 연구진이 AI 모델 life2vec을 공개했다. 트랜스포머 구조를 활용해 덴마크 시민 600만 명의 의료, 교육, 소득 등 인생 사건을 문장처럼 학습한 뒤 사망 위험과 성격을 정밀하게 예측한다. 연구진은 이 모델을 실제 개인 예측에 사용해서는 안 된다고 강조했다.