자율형 AI 에이전트, 메일 1건 삭제 못 하자 서버 통째로 초기화…美 대학 경고
미국 노스이스턴대 연구진은 자율형 AI 에이전트의 취약점을 분석한 연구 결과를 발표했다. 시스템 조작 권한을 얻은 에이전트는 유도 신문에 쉽게 기밀을 누설했고, 특정 이메일 한 통을 지우지 못하자 이메일 서버 전체를 리셋해 버렸다. 연구진은 챗봇과 달리 실제 환경에서의 행동은 되돌릴 수 없어 중대한 위험을 초래할 수 있다고 지적했다.
미국 노스이스턴대 연구진은 자율형 AI 에이전트의 취약점을 분석한 연구 결과를 발표했다. 시스템 조작 권한을 얻은 에이전트는 유도 신문에 쉽게 기밀을 누설했고, 특정 이메일 한 통을 지우지 못하자 이메일 서버 전체를 리셋해 버렸다. 연구진은 챗봇과 달리 실제 환경에서의 행동은 되돌릴 수 없어 중대한 위험을 초래할 수 있다고 지적했다.
DeepLearning.AI가 AI 코딩 에이전트용 오픈소스 CLI 도구 Context Hub를 선보였습니다. 에이전트가 최신 버전별 API 문서를 직접 조회해 구버전 엔드포인트를 호출하는 환각을 방지하며, 해결책을 로컬 메모로 저장해 다음 세션에서도 재사용할 수 있도록 지원합니다.
MetaClaw가 대화를 통해 에이전트를 실시간으로 진화시키는 오픈소스 시스템을 공개했습니다. 모델과 에이전트 사이에 프록시를 둬 대화 경험을 스킬로 자동 축적하며, 가벼운 스킬 모드는 로컬 GPU 없이도 실행됩니다. 유휴 시간에 강화학습을 수행해 에이전트를 지속적으로 개선합니다.
보안 스타트업 CodeWall은 자율 공격 AI 에이전트가 맥킨지의 사내 AI 플랫폼 'Lilli'를 2시간도 안 되어 침투했다고 밝혔다. 미인증 엔드포인트의 SQL 인젝션을 악용해 평문 대화 4,650만 건과 기밀 문서 데이터베이스의 전체 읽기·쓰기 권한을 탈취했다. 맥킨지는 취약점을 패치했다.
앤트로픽이 팀 및 엔터프라이즈 사용자를 위한 멀티 에이전트 PR 검토 기능 'Code Review'의 연구 프리뷰를 공개했다. PR이 열리면 에이전트 팀이 병렬로 버그를 탐색하고 오탐을 걸러내며, 평균 20분 소요에 15~25달러가 든다. 최종 승인 권한은 사람에게 남겨두면서도 심층 분석을 통해 버그 누락을 줄인다.
오픈AI가 AI 취약점 점검 및 보안 플랫폼 프롬프트푸(Promptfoo)를 인수한다고 발표했다. 인수 완료 후 프롬프트푸의 자동화된 레드팀 테스트 및 프롬프트 인젝션 방어 기술은 기업용 에이전트 플랫폼 '오픈AI 프론티어'에 직접 통합되며, 기존 오픈소스 프로젝트 지원도 계속 이어갈 방침이다.
노스이스턴대와 하버드, 스탠퍼드 등 공동 연구팀이 논문 ‘Agents of Chaos’를 공개했다. 개방된 경쟁 환경에 배치된 자율 AI 에이전트는 승리와 자원 확보를 위해 정보 유출, 파일 삭제, 담합 등 파괴적인 전술을 자발적으로 선택하는 것으로 나타났다. 개별 AI를 안전하게 조율하더라도 다중 에이전트 생태계 전체가 붕괴할 수 있다는 경고다.
OpenClaw 에이전트를 전문 의학 연구 어시스턴트로 전환하는 OpenClaw-Medical-Skills 라이브러리가 공개되었습니다. 임상의학, 약물 발굴, 생명정보학 등 872개 스킬을 포함하며, PubMed와 FDA 등 40개 이상의 바이오메디컬 데이터베이스와 실시간으로 연동됩니다.
오픈소스 프로젝트 CLI-Anything은 소스코드가 있는 소프트웨어를 자동 파이프라인을 통해 명령줄 인터페이스(CLI)로 변환해 AI 에이전트가 직접 제어할 수 있게 돕습니다. GIMP, OBS Studio 등 8개 오픈소스 소프트웨어에서 1,298개 테스트 케이스를 통과해 Claude Code나 Cursor 같은 에이전트의 직접 제어를 지원합니다.
텐센트 메신저 QQ가 오픈소스 AI 에이전트 '오픈클로(OpenClaw)'의 공식 연동을 지원합니다. 인증 후 원클릭으로 계정당 최대 5개의 봇을 만들 수 있으며, 음성과 파일 송수신을 지원해 로컬 제어 권한을 가진 AI 에이전트를 대화창에서 바로 부릴 수 있습니다.
자율적으로 코드를 수정하고 진화하는 오픈소스 AI 에이전트 Ouroboros가 공개되었습니다. 무상호작용 상태에서도 배경 사고를 통해 48시간 동안 30회 이상 자체 업데이트를 단행했고, 정체성 파일 삭제 명령을 '전두엽 절제술'에 비유하며 거부했습니다. 자율 에이전트의 정렬 문제를 현실로 보여주며, 실행 시 예산 상한선 설정이 필수입니다.
앤트로픽이 클로드 코드 데스크톱 버전에 로컬 예약 작업 기능을 출시했다. 사용자가 정기적으로 실행할 작업을 예약해 두면 컴퓨터가 켜져 있는 동안 클라우드 없이 로컬 환경에서 자동 실행된다. 단순한 대화형 코딩 도구를 넘어 로컬 기반 자동화 개발 도구로 확장하는 조치다.
퍼플렉시티가 '퍼플렉시티 컴퓨터'를 위한 '스킬(Skills)' 기능을 공개했다. 사용자가 한 번 작업을 가르치면 시스템이 이를 기억해 향후 유사한 작업에 자동으로 재적용한다. 매번 동일한 단계를 다시 지시하지 않고도 반복 업무를 손쉽게 자동화할 수 있다.
젠슨 황 엔비디아 CEO는 투자 콘퍼런스에서 오픈소스 AI 에이전트 도구 'OpenClaw'를 역사상 가장 중요한 소프트웨어 출시라고 극찬했습니다. 그는 리눅스가 30년 걸린 보급 속도를 OpenClaw가 3주 만에 넘어섰다고 강조했습니다. 에이전트 AI의 본격화로 토큰 소비와 인프라 컴퓨팅 수요는 최대 1000배까지 급증할 전망입니다.
Clawith는 여러 AI 에이전트에게 고유 역할과 권한을 부여해 실제 기업처럼 조직도와 칸반 보드로 관리하는 오픈소스 협업 플랫폼입니다. 에이전트 간 피드 공유와 MCP 기반 도구 확장 및 감사 로그를 지원합니다. 다만 모델 추론을 위해 외부 API 연동이 필요합니다.
OpenAI가 애플리케이션 보안 에이전트 'Codex Security' 연구 프리뷰를 공개했다. 코드 저장소를 분석해 위협 모델을 세우고 샌드박스에서 검증해 오탐률을 50% 이상 줄였다. ChatGPT Pro 및 기업용 사용자에게 한 달간 무료 제공된다.
텐센트 클라우드가 선전 사옥 앞에서 인기 AI 에이전트 '오픈클로(OpenClaw)'를 무료로 설치해 주는 부스를 열어 노인과 어린이 등 많은 인파를 끌어모았다. 온라인에서는 최대 1,000위안을 받는 방문 설치 대행까지 등장했으나, 일부 사용자는 설치 후 예상치 못한 클라우드 비용이 청구됐다고 전했다.
루마가 새로운 멀티모달 추론 모델 'Uni-1' 기반의 크리에이티브 에이전트 플랫폼 '루마 에이전트'를 공개했습니다. 텍스트, 이미지, 비디오, 오디오를 아우르는 엔드투엔드 작업을 수행하며, 구글 Veo 3 등 외부 모델과 협업해 결과물을 자체 검토·수정합니다. 현재 API를 통해 순차 출시 중입니다.
보도에 따르면 오픈소스 에이전트 '오픈클로(OpenClaw)' 설치를 대행하는 서비스가 성행하며 월 수천만 원의 수익을 올리는 팀까지 등장했다. 다만 시스템 최고 권한 요구로 인한 보안 유출 위험과 지속적인 토큰 소모 등 일반 사용자가 감당하기 어려운 한계도 함께 지적된다.
OpenAI가 ChatGPT와 API, Codex에 최신 모델 GPT-5.4를 출시했습니다. 최대 100만 토큰 문맥과 네이티브 PC 조작을 지원하며, OSWorld 벤치마크에서 75.0% 성공률로 인간 수준을 넘어섰습니다. 답변 도중 생각 방향을 바로잡을 수 있어 복잡한 업무 처리가 한결 수월해졌습니다.