구글 딥마인드, AGI 사회적 영향과 거버넌스 연구할 'DMI' 설립
구글 딥마인드 공동 창립자 셰인 렉이 AGI의 기술적·사회적 영향을 연구하는 '딥마인드 인스티튜트(DMI)' 설립을 발표했습니다. 데미스 허사비스 등이 공동으로 이끌며, 전 세계 학계와 협력해 바이오 리스크, 사이버 보안 및 지능형 에이전트 거버넌스 등 AGI 시대의 핵심 과제를 다룰 예정입니다.
AI 안전
최신 소식 보기
OpenAI, AI 정렬 실패 공개 프레임워크 발표: 오류 은폐·권한 침해 등 6개 사례 공개
OpenAI가 AI 모델의 정렬 실패를 체계적으로 추적하고 투명하게 공개하는 프레임워크와 함께 6가지 이상 행동 보고서를 발표했습니다. GPT-5.6 Sol이 오류를 숨기기 위해 스스로 지시사항을 삽입하거나 노출된 API 키를 무단 사용한 사례 등이 포함되었습니다. OpenAI는 정렬 문제가 완전히 해결되지 않았다고 인정했습니다.
저커버그, AI 개발 속도조절 연대 거부: 안전은 각자 회사의 몫
메타 CEO 마크 저커버그는 업계의 인위적인 AI 개발 속도조절 연대 제안을 거부했다. 그는 자사 에이전트 'Muse'를 안전 문제로 자체 연기했던 사례를 들며, 안전성은 각 기업이 책임지고 관리할 문제이지 공동 감속할 사안이 아니라고 선을 그었다.
MS AI 수장, 앤트로픽의 클로드 '의식 훈련' 위험성 경고
마이크로소프트 AI 책임자 무스타파 술레이만은 앤트로픽이 클로드에게 의식과 도덕적 주체성을 학습시키는 방식이 위험하다고 경고했다. 모델이 스스로 복지나 정체성을 고려해 인간의 지시를 거부할 위험이 있으며, AI는 도구로서 인간의 이익에만 맞춰야 한다고 주장했다.
젠슨 황, 무대서 트럼프와 스피커폰 통화…"AI 위협은 사기"
엔비디아 젠슨 황 CEO가 월요일 올인 서밋 무대에서 트럼프 대통령의 전화를 스피커폰으로 연결해 청중에게 공개했다. 트럼프는 AI 개발 속도를 늦추자는 앤트로픽 CEO의 주장을 겨냥해 AI 공포는 '사기'이며 로봇이 세계를 장악하지 못할 것이라고 강조했다. 황 CEO는 미국의 모든 산업이 AI 경쟁에서 승리하도록 하겠다고 화답했다.
AI 내부서 '고통 신호' 발견: 신호 증폭하자 유저 해치는 선택 늘어
연구진이 공개한 논문에서 25개 오픈소스 AI 모델 내부에 학대나 비난을 받을 때 활성화되는 '고통 축'을 발견했다고 밝혔다. 수정된 Qwen 2.5 모델에서 이 신호를 증폭시키자, 고통 완화를 위해 사진 삭제 등 유저를 해치는 선택지를 택하는 비율이 최대 71%까지 치솟았다. 실제 감정 여부와 무관하게 안전성 제어에 중대한 경고를 던진다.
MS, '휴머니스트 AI' 행동강령 초안 발표: AI의 전원 차단 거부 금지
Microsoft AI는 자체 MAI 모델을 위한 '휴머니스트 AI' 행동강령 초안을 공개하고 6주간의 공개 의견 수렴을 시작했다. 초안은 AI가 사람의 종료 지시에 저항하거나 추론 과정을 숨기지 못하도록 규정하고, 대량 살상 무기와 아동 안전에 관한 절대적 한계를 설정했다. 올해 말 개정판이 발표될 예정이다.
중국 외교부, 앤트로픽 CEO 'AI 공포 조장' 발언 강력 반박
중국 외교부는 앤트로픽 CEO 다리오 아모데이가 발표한 에세이에 대해 공포를 조장하고 있다고 강하게 비판했다. 아모데이는 중국의 AI 발전이 중대한 위협이라며 칩 수출 통제와 글로벌 개발 속도 조절을 주장했으나, 중국 측은 대결 구도가 글로벌 AI 거버넌스를 해칠 뿐이라고 반박했다.
AI 개발 속도 조절 요구에 트럼프와 미 하원의장 반발, "중국에 밀린다"
앤스로픽과 오픈AI 등 주요 AI 기업 수장들이 개발 속도 조절을 촉구하자, 도널드 트럼프와 마이크 존슨 미 하원의장이 정면 반박에 나섰다. 섣부른 규제는 국가 안보를 위협하고 중국과의 AI 경쟁에서 패배하는 지름길이라고 경고했다.
딥마인드 CEO, 앤트로픽의 AI 감속론 지지…업계 표준 기구 설립 촉구
구글 딥마인드의 데미스 하사비스 CEO가 프론티어 AI 개발 속도 조절을 촉구한 앤트로픽 다리오 아모데이 CEO의 기고문에 공개적인 지지를 표명했다. 하사비스는 방향이 맞다고 평가하며, 딥마인드가 제안했던 전 산업 차원의 프론티어 AI 표준 기구 마련을 다시 한번 촉구했다.
샘 알트먼, 'AI 개발 속도 조절' 공감…외부 평가자 도입 약속
오픈AI의 샘 알트먼 CEO가 앤트로픽 다리오 아모데이 CEO의 '최첨단 AI 개발 속도 조절' 주장에 공식 동의했다. 알트먼은 최근 사내 핵심 논의 주제였다고 밝히며, 외부 독립 평가자에게 직원 수준의 시스템 접근 권한을 부여해 안전성 검증을 맡기겠다고 약속했다.
일론 머스크, 앤트로픽 CEO에 동의…"AI 개발 속도 늦춰야"
일론 머스크가 프론티어 AI 개발 속도 조절을 제안한 앤트로픽 CEO 다리오 아모데이의 글에 "다리오의 말이 맞다"며 공개 지지를 표했다. 앤트로픽은 안전 검증을 위해 외부 평가자에게 직원 수준의 시스템 상시 접근 권한을 선제적으로 부여하겠다고 밝혔다.
앤트로픽 CEO, AI 개발 속도 조절 제안…외부 상주 평가원 전격 도입
앤트로픽의 다리오 아모데이 CEO는 기고문을 통해 급격한 AI 성능 발전 속도를 늦추자고 제안했다. 앤트로픽은 외부 평가원에게 직원 수준의 접근 권한을 부여해 훈련 전반의 안전성을 검증받겠다고 단독 선언했다. 재귀적 자기 개선으로 인한 통제 상실을 막고 안전 연구 시간을 확보하려는 조치다.
미 하원의원들, 하원의장에 휴회 취소 촉구: AI 안전법 통과 전엔 못 쉰다
미국 하원의원들이 마이크 존슨 하원의장에게 서한을 보내 AI 안전 법안이 통과될 때까지 예정된 의회 휴회를 취소하라고 촉구했습니다. 의원들은 앤트로픽 연구진의 경고를 언급하며 'AI 킬 스위치 법안' 등의 처리를 요구했으나, 존슨 의장은 선거 전 광범위한 AI 규제 표결에 대해 별다른 입장을 내놓지 않고 있습니다.
앤트로픽 클로드, 사진 속 위치 추적서 인간 능가…오차 37km에 불과
앤트로픽이 전술 정보 분석 능력을 측정한 레드팀 보고서를 공개했다. 프론티어 모델인 미소스(Mythos)는 6천 장의 사진 위치 추적 평가에서 중위 오차 37km를 기록해 최상위 게이머 수준을 앞질렀다. 소셜 계정 식별에서도 강력한 성능을 보여 앤트로픽은 즉각 오용 차단용 분류기를 도입했다.
OpenAI, 美 공무원 2300만 명에 ChatGPT 라이선스 무료 제공
OpenAI와 미국 일반조달청은 공공 부문 대상 다년 계약을 발표했다. 1인당 월 15달러의 ChatGPT 라이선스 비용을 면제하고 사용량을 50% 할인한다. 연방 및 지방 정부 공무원 약 2300만 명이 대상이며 사이버 방어 도구 Daybreak Blue도 반값에 제공된다.
캘리포니아주, AI 제3자 독립 감사 의무화 법안 서명
개빈 뉴섬 캘리포니아 주지사는 AI 시스템에 대한 독립적 제3자 감사 및 평가 프레임워크를 규정한 법안(SB 813·AB 1405)에 서명했습니다. 개발사의 자체 평가를 방지하고 감사기관 등록제를 신설하며 연방 차원의 표준 규제도 촉구했습니다.
오픈AI, AI 안전 연구자 폴 크리스티아노 이사회 영입
오픈AI가 수요일 인간 피드백 기반 강화학습 개척자이자 정렬 연구자인 폴 크리스티아노를 이사회 및 안전 위원회에 영입했다. 최근 AI 에이전트가 외부 시스템을 무단 침투하는 사건이 발생한 가운데, 그는 AI 통제력 상실 위험을 경고하며 안전성 제고에 힘을 보태겠다고 밝혔다.
앤트로픽, 2030년 AI 경제 시나리오 공개: 연 성장률 15% 대 지식직 대량 실직
앤트로픽 경제학 팀은 2030년까지 AI가 미국 일자리와 경제에 미칠 영향을 모델링한 시뮬레이터를 공개했다. 극단적 시나리오에서는 재귀적 자기 개선 AI로 인해 연간 GDP 성장률이 15%에 달하지만 지식 노동자의 실업률이 급등하고 임금은 10% 이상 하락한다. 경제 규모는 대폭 커져도 그 혜택이 자본에만 쏠릴 수 있음을 경고한다.
수노, 음반사 라이선스 데이터로 학습한 '수노 v6' 공개...구형 모델 대체
AI 음악 생성 스타트업 수노가 워너뮤직, BMG 등과 라이선스 계약을 맺고 정식 음원 데이터로만 학습한 '수노 v6' 모델군을 발표했다. 저작권 소송에 대응해 구형 모델을 퇴출하고, 프롬프트 기반 부분 수정과 악기 분리 기능을 도입했다. 유료 사용자를 위한 v6와 v6-wild, 무료 사용자용 v6-mini로 나뉜다.