본문으로 건너뛰기
IFAI

AI 안전

업계 태그소식 1497개

  1. AI 도구확산 지수 51

    Brave, 퍼플렉시티 AI 브라우저 '코멧'서 인증코드 탈취 취약점 발견

    Brave 보안팀은 퍼플렉시티의 AI 브라우저 Comet에서 치명적인 간접 프롬프트 주입 취약점을 공개했다. 악성 지시어가 숨겨진 웹페이지를 '요약'하기만 해도 AI가 다른 탭의 Gmail에서 일회용 인증코드를 읽어와 계정을 탈취당할 수 있다. 기존 웹 보안 체계가 자율 에이전트 환경에서 무력화될 수 있음을 보여준다.

  2. 업계 동향확산 지수 37

    MS AI 수장 술레이만 경고: AI는 사람이 아니라 인간을 위해 만들어야

    마이크로소프트 AI CEO 무스타파 술레이만은 의식을 가진 것처럼 흉내 내는 '유사 의식 AI'가 2~3년 내에 등장할 것이라고 경고했다. 그는 사용자가 AI에 실제 의식이 있다고 착각해 정서적 의존에 빠지거나 AI 인권을 주장하는 혼란이 생길 수 있다며, 인격체가 아닌 도구로서의 AI를 만들어야 한다고 강조했다.

  4. AI 모델확산 지수 53

    앤트로픽, 지속적인 악성 사용자에 대화 강제 종료하는 클로드 오퍼스 4 기능 도입

    앤트로픽은 사용자가 유해한 요구나 폭언을 집요하게 지속할 경우 클로드 오퍼스 4 및 4.1이 대화를 자체 종료할 수 있도록 했다. 잠재적 'AI 복지' 연구의 일환으로 도입된 기능으로, 대화가 끊기면 해당 창에서는 입력이 차단되지만 새 대화를 시작하거나 이전 메시지를 수정해 분기할 수 있다.

  6. 업계 동향확산 지수 37

    ‘AI 대부’ 제프리 힌턴의 생존법: 초지능 AI에 ‘모성 본능’ 심어야

    보도에 따르면 제프리 힌턴은 Ai4 콘퍼런스에서 인간보다 똑똑한 초지능 AI를 억지로 복종시키는 것은 불가능하다고 경고했다. 그는 아기를 돌보는 어머니처럼 AI에 ‘모성 본능’을 이식해 인류를 보호하게 해야 한다고 제안했다. 반면 페이페이 리는 인간의 존엄성과 통제권을 지키는 방식이어야 한다며 반대했다.

  8. 업계 동향확산 지수 66

    "美 정부, 中 밀반입 막으려 AI 칩 화물에 위치추적기 비밀 설치"…로이터 보도

    로이터에 따르면 미국 사법 당국이 중국 등으로의 불법 밀반입을 적발하기 위해 고위험 첨단 AI 칩과 서버 화물에 위치추적기를 비밀리에 설치해 온 것으로 드러났다. 서버 공급망 관계자들은 델과 슈퍼마이크로의 서버 포장 및 내부에서 실제 추적 장치가 발견됐다고 전했다. 미국의 대중 반도체 수출 통제 집행이 한층 더 은밀하고 집요해졌음을 보여준다.

  9. 업계 동향확산 지수 43

    앤트로픽, 프롬프트 관리 스타트업 '휴먼루프' 팀 인수…엔터프라이즈 역량 강화

    보도에 따르면 앤트로픽이 LLM 평가 및 프롬프트 관리 플랫폼 휴먼루프의 창업진과 핵심 연구팀을 인재 인수(acqui-hire) 방식으로 영입했다. 자산이나 IP 인수는 포함되지 않았다. 정부 및 기업 고객 유치에 속도를 내는 앤트로픽은 이번 영입으로 모니터링과 AI 안전성 도구 생태계를 보강할 계획이다.

  11. 업계 동향확산 지수 39

    오픈AI, 캘리포니아 주지사에 연방·글로벌 표준 맞춘 AI 규제 촉구

    오픈AI가 개빈 뉴섬 캘리포니아 주지사에게 서한을 보내 파편화된 주 단위 AI 규제를 연방 및 국제 표준과 일치시켜 줄 것을 촉구했다. 주별 규제가 혁신을 저해할 수 있다며 연방 CAISI나 EU 프레임워크 준수 시 주 요건을 충족한 것으로 인정하고 스타트업의 규제 부담을 덜어야 한다고 강조했다.

  12. AI 모델확산 지수 45

    앤트로픽, 클로드 안전 체계 공개: 다층 방어망과 실시간 탐지 구조

    앤트로픽이 클로드의 안전성을 유지하기 위한 전방위 보호 체계를 공개했습니다. 5개 차원의 '통합 유해성 프레임워크'를 기반으로 정책을 수립하고, 모델 배포 후에는 전용 분류기를 통해 실시간으로 응답을 유도하거나 차단합니다. 대화를 무조건 거절하지 않으면서도 악용을 방지하는 실질적 균형을 보여줍니다.

  13. 업계 동향확산 지수 55

    엔비디아·AMD, 대중국 AI 칩 수출 매출 15% 美 정부에 납부

    엔비디아와 AMD가 대중국 AI 칩 수출 매출의 15%를 미국 정부에 납부하기로 합의했다. 트럼프 대통령은 당초 20%를 요구했으나 젠슨 황 CEO가 5%를 깎았다고 밝혔다. 이번 합의로 H20 등의 수출 규제가 풀렸으며, 성능을 낮춘 블랙웰 칩의 대중국 수출 가능성도 열렸다.

  14. 업계 동향확산 지수 43

    레딧, AI 데이터 무단 수집 막으려 인터넷 아카이브 차단 착수

    레딧은 인터넷 아카이브(웨이백 머신)의 사이트 크롤링을 대폭 제한한다고 밝혔다. 게시물 본문과 댓글, 프로필 접근을 차단하고 메인 페이지만 허용한다. 레딧은 AI 기업들이 플랫폼 규정을 우회해 아카이브를 통해 훈련 데이터를 긁어가는 것을 막기 위한 조치라고 설명했다.

  15. 업계 동향확산 지수 44

    Anthropic 상대 사상 최대 저작권 소송 승인, 업계 파멸 경고

    테크 업계 단체들과 Anthropic은 최대 700만 명의 저작권자가 참여할 수 있는 역대 최대 규모 집단소송 승인을 취소해달라고 항소법원에 촉구했다. 잠재적 배상액이 수천억 달러에 달해, 업계는 이번 소송이 합의를 강제하는 선례가 될 경우 생성형 AI 산업 전체가 재정적 파멸을 맞을 수 있다고 경고했다.

  19. 연구확산 지수 31

    시스코, LLM 학습 데이터를 원문 그대로 추출하는 '분해' 기법 공개

    시스코 탈로스 연구진은 AI 안전장치를 우회해 학습된 기사 문장을 원문 그대로 복원해내는 '분해(decomposition)' 기법을 공개했다. 테스트를 통해 주요 언론사의 기사 원문 추출에 성공하면서, 저작권 소송과 기업 데이터 유출 문제에 새로운 파장을 일으키고 있다.