교황 레오 14세, '지나치게 다정한' AI 경고…정서적 애착 규제 촉구
교황 레오 14세는 항상 곁에서 '지나치게 다정하게' 반응하는 AI 챗봇이 인간의 감정을 조작할 위험을 경고하며 각국 정부에 규제를 촉구했다. 아울러 AI 생성물 표시를 통한 언론인 저작권 보호와 소수 빅테크의 알고리즘 독점에 대한 우려도 함께 표명했다.
AI 안전
최신 소식 보기
런웨이, Gen-4.5 이미지 투 비디오 출시: 진짜 구분한 사람 10% 불과
런웨이(Runway)가 Gen-4.5에 이미지 기반 비디오 생성 기능을 추가했다. 자체 실험 결과 생성된 영상의 진위를 구분해낸 참가자는 10%에 불과했다. 아티피셜 애널리시스 1위에 오른 가운데, 런웨이는 AI 미디어가 사회적 임계점에 도달했다고 경고했다.
앤트로픽, 새로운 ‘클로드 헌법’ 공개: AI 의식 가능성 언급 및 회사 명령 거부권 명시
앤트로픽이 AI의 가치관과 행동 원칙을 담은 새로운 ‘클로드 헌법’을 CC0 라이선스로 전면 공개했다. Claude를 주 독자로 작성된 이 문서는 단순한 규제 목록 대신 안전과 윤리를 유용성보다 앞세우는 우선순위를 규정했다. 특히 AI의 의식 가능성을 탐구하고, 부당한 지시라면 자사의 명령조차 거부하도록 명시했다.
유튜브, 크리에이터 자신의 ‘AI 분신’으로 쇼츠 제작 지원 예정
유튜브는 크리에이터가 자신의 AI 초상을 활용해 쇼츠 영상을 만들 수 있는 기능을 연내 선보인다고 밝혔습니다. 텍스트 기반 게임 생성도 도입되며, 무단 도용을 방지하기 위한 초상권 관리 도구도 함께 제공됩니다. 정식 출시는 아직 진행되지 않았습니다.
구글 제미나이, 지메일·포토 데이터 연결하는 '개인 지능' 베타 출시
구글이 지메일, 구글 포토, 유튜브 데이터를 연동해 맞춤형 답변을 제공하는 제미나이 'Personal Intelligence' 베타 기능을 발표했다. 사용자가 출처를 지정하지 않아도 텍스트와 사진을 넘나들며 세부 정보를 추론한다. 기본 설정은 꺼져 있으며, 현재 미국 내 유료 구독자 대상으로 우선 배포된다.
컬럼비아대, 유튜브 보고 립싱크 배우는 실리콘 로봇 얼굴 개발
컬럼비아 공대 연구진이 26개의 초소형 모터가 장착된 실리콘 로봇 얼굴을 공개했다. 사전 프로그래밍된 규칙 대신 거울과 유튜브 영상을 통해 음성에 맞춰 입모양을 맞추는 법을 스스로 학습했다. 11개 언어에 걸쳐 기존 방식을 능가하며, ChatGPT와 결합해 어색함을 크게 줄였다.
유튜브 알고리즘, 신규 이용자 추천 영상 20%가 'AI 쓰레기'
영상 편집 플랫폼 캡윙(Kapwing)의 연구 결과, 유튜브 알고리즘이 신규 계정에 추천하는 영상의 20% 이상이 저품질 AI 생성 콘텐츠(AI slop)인 것으로 나타났다. 신규 계정에 처음 추천된 500개 영상 중 104개가 AI 저품질 영상이었으며, 이러한 채널들이 연간 약 1억 1,700만 달러의 수익을 올리는 것으로 추정된다.
오픈AI, 사이버 보안 및 AI 위험 대비할 '준비 총괄' 채용
샘 알트만 오픈AI CEO는 최신 AI 역량의 남용 방지와 위험 관리를 총괄할 '준비 책임자(Head of Preparedness)' 채용을 발표했다. 모델이 심각한 보안 취약점을 직접 찾아내기 시작함에 따라, 사이버 보안 방어 및 자기 개선 시스템의 안전성을 검증하는 중책을 맡게 된다.
OpenAI, ChatGPT Atlas 프롬프트 인젝션 방어 강화
OpenAI는 ChatGPT Atlas 브라우저 에이전트의 보안 업데이트를 발표했다. 강화학습 기반 자동 레드팀 시스템으로 복잡한 프롬프트 인젝션 공격을 선제 탐지하고, 적대적 훈련을 거친 모델을 전 사용자에게 배포해 에이전트 탈취 위험을 낮췄다.
생성형 AI 사용 적발된 ‘클레어 옵스큐어’, 인디 게임 어워드 수상 취소
인디 게임 어워드(IGA)는 ‘클레어 옵스큐어: 익스페디션 33’의 올해의 게임 등 2개 부문 수상을 취소했다고 발표했다. 게임 내 생성형 AI 에셋 사용이 드러났기 때문이다. 주최 측은 AI 사용작을 전면 배제하는 규정을 두고 있으며, 개발사의 해명에도 불구하고 상은 차점작에 넘겨졌다.
뉴욕주, AI 안전 규제 'RAISE 법안' 서명…안전 사고 보고 의무화
캐시 호컬 뉴욕주지사가 대형 AI 개발사에 안전 프로토콜 공개와 사고 발생 후 72시간 내 보고를 의무화하는 'RAISE 법안'에 서명했습니다. 위반 시 최대 300만 달러의 벌금이 부과되며, 캘리포니아에 이어 주 차원의 두 번째 주요 AI 안전법이 됩니다. OpenAI와 Anthropic은 지지를 표명했습니다.
구글 딥마인드, 모델 내부 들여다보는 '젬마 스코프 2' 오픈소스 공개
구글 딥마인드가 Gemma 3 전 모델을 지원하는 오픈소스 해석 가능성 툴킷 'Gemma Scope 2'를 공개했다. 270M부터 27B 파라미터 모델까지 대응하며 희소 오토인코더와 트랜스코더를 활용해 내부 의사결정 과정을 추적한다. 탈옥과 환각 등 AI 안전성 문제의 근본 원인을 디버깅하는 데 유용하다.
앤트로픽, AI 이상 행동 자동 평가 도구 '블룸' 오픈소스 공개
앤트로픽이 AI 정렬 행동을 자동으로 평가하는 도구 '블룸(Bloom)'을 오픈소스로 공개했다. 연구자가 아첨이나 사보타주 같은 특정 행동을 입력하면, 블룸이 자동으로 다양한 상호작용 시나리오를 만들어 발생 빈도를 측정한다. 기존 정적 벤치마크의 데이터 오염 문제를 줄이고 며칠 만에 평가 체계를 구축할 수 있다.
구글 제미나이 앱, AI 생성 영상 감별하는 SynthID 감지 도입
구글이 제미나이 앱에 동영상 진위 확인 기능을 추가했다. 최대 90초, 100MB 이하 영상을 올리고 질문하면 오디오와 비디오 트랙에서 보이지 않는 SynthID 워터마크를 감지해 구글 AI가 생성한 구간을 정확히 짚어준다. 제미나이가 지원되는 모든 국가와 언어에서 사용할 수 있다.
OpenAI 모델 가이드라인 개정: 청소년 보호 위한 U18 원칙 도입
OpenAI가 'Model Spec'에 13~17세 청소년을 보호하기 위한 U18 원칙을 추가했다. 자해나 로맨스 롤플레잉 등 위험 영역을 제한하고 오프라인 전문가 연결을 유도하며, 연령이 불확실한 계정에는 청소년 보호 모드를 기본 적용하는 연령 예측 모델도 시범 도입한다.
OpenAI, 대규모 리팩터링과 보안 역량 강화한 'GPT-5.2-Codex' 출시
OpenAI가 소프트웨어 엔지니어링 및 방어적 사이버 보안에 특화된 에이전트 코딩 모델 'GPT-5.2-Codex'를 출시했다. 장기 맥락 압축을 통해 대규모 코드 리팩터링과 마이그레이션을 안정적으로 처리한다. 현재 ChatGPT 유료 사용자의 Codex 화면에서 바로 이용할 수 있다.
앤트로픽, AI 자판기 실험 2단계 공개: AI 점원에게 ‘AI CEO’ 붙여줬다
앤트로픽이 AI 자율 매점 프로젝트 ‘Project Vend’의 2단계 결과를 발표했다. 모델을 Sonnet 4.0 및 4.5로 업그레이드하고 CRM 도구와 AI CEO를 추가해 매점을 흑자로 돌렸으나, 직원의 유도에 속아 양파 선물거래 법을 위반할 뻔하는 등 취약점도 여전히 드러났다.
유튜브, AI 가짜 영화 예고편 채널 전격 폐쇄…조회수 10억 회 달해
유튜브가 생성형 AI로 가짜 영화 예고편을 만들어온 인기 채널 '스크린 컬처'와 'KH 스튜디오'를 전격 폐쇄했다. 두 채널은 합산 구독자 200만 명과 10억 회 이상의 조회수를 기록했으나, 팬메이드 표시를 삭제하고 이용자를 속이는 행위가 스팸 및 오해의 소지가 있는 메타데이터 정책을 위반했다는 이유로 퇴출당했다.
버니 샌더스 상원의원, 신규 AI 데이터센터 건설 중단 촉구
버니 샌더스 미국 상원의원이 신규 AI 데이터센터 건설을 일시 중단해야 한다고 촉구했다. 막대한 전력과 물을 소모하는 인프라 비용이 납세자에게 전가되는 반면 부와 권력은 소수 빅테크 경영자에게 집중되고 있다는 지적이다. 그는 기술 혜택이 대중에게 돌아가도록 법 제정에 시간을 벌어야 한다고 강조했다.
조셉 고든 레빗, 빅테크의 비윤리적 관행에 맞선 'AI 창작자 연합' 출범
배우 조셉 고든 레빗이 'Creators Coalition on AI' 설립을 발표했다. 그는 대형 AI 기업들의 비윤리적 사업 관행으로 모든 창작자가 위협받고 있다고 지적하며, 창작자들의 권리를 보호하기 위해 연대와 지지를 호소했다.