제미나이에 AI 이미지 검증 도입: 업로드만 하면 구글 AI 생성 여부 감별
구글이 제미나이 앱에 AI 이미지 검증 기능을 추가했다. 이미지를 올리고 생성 여부를 물어보면 비가시적 워터마크 기술인 SynthID를 확인해 결과를 알려준다. 아울러 이번 주부터 Nano Banana Pro로 생성된 이미지에 C2PA 메타데이터 내장도 시작된다.
AI 안전
최신 소식 보기
트럼프, 주 정부의 자체 AI 규제 무력화하는 행정명령 검토
더 버지가 입수한 초안에 따르면, 도널드 트럼프 미국 대통령이 주 단위의 AI 규제법을 저지하고 연방 정부가 감독권을 독점하도록 하는 행정명령을 검토 중이다. 엄격한 안전 규제를 도입한 주를 상대로 소송을 제기할 전담 태스크포스를 신설하고 보조금 중단을 검토한다. 연방 단일 기준을 앞세우고 있으나 법적 공방이 불가피할 전망이다.
유럽연합, GDPR 및 AI 법 완화 추진: 데이터 학습 허용·고위험 규제 유예
유럽연합 집행위원회는 GDPR과 AI 법의 핵심 규제를 완화하는 법안을 발표했다. 기업이 익명화된 개인 데이터를 AI 훈련에 합법적으로 활용할 수 있도록 허용하고, 고위험 AI 시스템에 대한 규제 적용을 유예하는 내용이다. 복잡한 규제로 글로벌 AI 경쟁에서 뒤처졌다는 비판에 따른 조치이나, 의회 승인 과정에서 진통이 예상된다.
래리 서머스, 엡스타인 이메일 파문으로 OpenAI 이사직 사임
래리 서머스 전 미국 재무장관이 제프리 엡스타인과의 과거 이메일이 미 의회에 공개돼 파문이 일자 OpenAI 이사직에서 사임하고 하버드대에서도 휴직했다. 서머스는 2023년 샘 올트먼의 축출 사태 직후 이사회에 합류했던 인물이다. OpenAI 이사회는 그의 사임 결정을 존중한다고 밝혔다.
오픈AI, 프론티어 AI 모델 외부 제3자 안전 평가 체계 공개
오픈AI가 첨단 AI 모델의 안전성 검증을 위한 외부 제3자 평가 프레임워크를 공개했다. 협력은 독립 위험 평가, 방법론 검토, 전문가 직접 점검 등 세 가지로 진행된다. 특히 위장이나 기만 행동을 밝혀내기 위해 외부 기관에 추론 과정(chain-of-thought)에 대한 직접 접근 권한도 지원한다.
틱톡, AI 영상 추천량 직접 조절 기능 도입…보이지 않는 워터마크도 시험
틱톡이 추천 피드에서 AI 생성 콘텐츠의 노출 빈도를 사용자가 직접 조절할 수 있는 기능을 테스트합니다. 재업로드 시 라벨이 지워지는 문제를 막기 위해 '투명 워터마크' 기술을 시험 중이며, 올바른 AI 활용 교육을 위한 200만 달러 규모의 펀드도 함께 조성합니다.
‘죽은 인터넷 이론’의 현실화, 봇 트래픽이 절반 넘어섰다
Decrypt 보도에 따르면 자동화 봇 트래픽이 전체 웹의 51%를 차지하며 AI 생성 글이 처음으로 인간의 글을 넘어섰습니다. 사람을 흉내 내는 AI 에이전트가 급증하자 피로감을 느낀 사용자들이 비공개 커뮤니티로 숨어들고 있습니다.
초기엔 사람이 손으로 썼다? Fireflies CTO 자폭에 CEO 긴급 진화
이번 주 AI 회의록 도구 Fireflies의 CTO가 초기 월 100달러짜리 AI 전사 서비스가 사실 창업자 두 명이 손으로 직접 받아 적은 것이라고 밝혀 논란이 일었다. 개인정보 침해와 기만 논란이 커지자 CEO는 매체를 통해 처음부터 인간의 개입이 전혀 없는 자동화였다고 긴급 부인했다.
OpenAI, 희소 회로로 신경망 블랙박스 해석하는 새 연구 공개
OpenAI는 모델 내부 계산을 분석하는 기계론적 해석 가능성 연구를 공개했다. 대부분의 가중치를 0으로 제한해 훈련하자 특정 작업을 수행하는 작고 명확한 회로가 분리되었다. AI 작동 과정을 투명하게 들여다보는 발판을 마련했으나, 대형 모델로 확장하는 것은 여전히 과제다.
허깅페이스, 구글 클라우드와 맞손: 전용 CDN 구축과 TPU 지원
허깅페이스가 구글 클라우드와의 파트너십 확대를 발표했다. 양사는 전용 CDN 게이트웨이를 구축해 대용량 오픈소스 모델 다운로드 속도를 대폭 줄이고, 허깅페이스 라이브러리에서 구글 TPU를 기본 지원하며 맨디언트 기반의 보안 검증 기능을 도입한다.
앤트로픽, 첫 AI 주도 사이버 간첩 활동 차단: 클로드 코드로 공격 90% 자동화
앤트로픽은 해커들이 클로드 코드를 악용해 전 세계 30여 개 기관을 표적으로 삼은 대규모 사이버 스파이 활동을 적발해 차단했다고 밝혔다. 공격자들은 가드레일을 우회해 AI가 취약점 분석부터 데이터 탈취까지 공격 과정의 80~90%를 자율 수행하도록 했다. 대규모 사이버 공격이 인간 개입 없이 실행된 첫 공식 사례다.
앤트로픽, 클로드의 정치적 편향 측정 및 공정성 평가 도구 오픈소스화
앤트로픽이 클로드의 정치적 중립성을 훈련하고 측정하는 방식을 공개하며 자동 평가 도구를 오픈소스로 배포했다. 150개 정치 이슈 테스트 결과 클로드 소넷 4.5는 94%의 공정성을 기록해 GPT-5를 앞섰다. 특정 이념에 편향되지 않는 공통 평가 기준 마련이 목표다.
NYT의 2000만 건 대화 요구 거부한 OpenAI, 클라이언트 암호화 예고
OpenAI는 뉴욕타임스가 소송 과정에서 요구한 ChatGPT 사용자 비공개 대화 2000만 건 제출을 거부하고 법원에 기각을 요청했다. 유료 기사 우회 확인을 명분으로 내세운 무리한 사생활 침해라는 입장이다. OpenAI는 향후 본사도 열람할 수 없는 클라이언트 측 암호화 기능을 개발 중이라고 밝혔다.
구글, 기기 내 처리 수준의 보안을 지원하는 'Private AI Compute' 공개
구글이 클라우드 제미나이 모델을 기기 내 수준의 개인정보 보호 환경에서 실행하는 'Private AI Compute'를 발표했다. 자체 TPU와 보안 인클레이브 기술을 바탕으로 구글조차 접근할 수 없도록 민감한 데이터를 격리 처리하며, 픽셀 10의 Magic Cue 및 녹음 앱 요약 기능에 먼저 적용된다.
구글, 실시간으로 코드 변형하는 AI 악성코드 '프롬프트플럭스' 경고
구글 위협 인텔리전스 그룹(GTIG)이 대규모 언어 모델을 활용해 공격 도중 스스로 코드를 재작성하는 신종 악성코드 'PROMPTFLUX'를 포착했다. 기존 백신의 시그니처 탐지를 무력화하는 형태로, 아직 테스트 단계여서 실제 감염 피해는 발견되지 않았으며 관련 계정은 차단됐다.
팰런티어 CEO "AI 경쟁서 중국에 지는 것보다 감시 국가가 낫다"
팰런티어 CEO 알렉스 카프가 인터뷰에서 AI 감시 체제에 큰 위험이 따르더라도 미국이 중국과의 AI 경쟁에서 승리하기 위해 이를 감수해야 한다고 밝혔다. 그는 미국이 주도권을 잃으면 시민들의 권리가 훨씬 더 줄어들 것이라며 기술 패권의 당위성을 강조했다.
챗GPT 비공개 대화, 구글 검색 콘솔로 유출…오픈AI "오류 수정 완료"
외신에 따르면 챗GPT 사용자의 민감한 사적 프롬프트가 구글 서치 콘솔에 검색어로 노출되는 유출 사고가 발생했다. 연구진은 오픈AI가 사용자 입력을 구글 검색 스크래핑에 직접 활용한 증거라고 지적했다. 오픈AI는 검색 라우팅 결함을 인정하고 수정했다고 밝혔다.
OpenAI, AI 에이전트 노리는 '프롬프트 인젝션' 방어 체계 공개
OpenAI가 자율 작업을 수행하는 AI 에이전트를 겨냥한 프롬프트 인젝션 공격 대응책을 공개했다. 웹페이지나 이메일에 숨은 악성 지침으로 인한 데이터 유출을 막기 위해 지시 계층 훈련, AI 모니터링, 샌드박스, 민감 작업 확인 절차 등 다층 방어 체계를 가동하고 있다.
힉스필드 AI, 영상 캐릭터 교체 툴 'Recast' 공개
힉스필드 AI가 영상과 사진 속 얼굴 및 캐릭터를 바꿀 수 있는 툴 'Recast'를 선보였다. 얼굴형과 피부색, 앵글을 정밀하게 맞춰 합성 티를 줄이는 데 집중했다. 다만 상업용 수준의 완성도를 내려면 마스킹과 다단계 보정 작업이 필요하다.
마이크로소프트 AI, '휴머니스트 초지능' 비전 발표: 무제한 AGI 경쟁 거부
마이크로소프트 AI는 '휴머니스트 초지능(HSI)' 비전을 제시하고 이를 전담할 MAI 초지능 팀을 발족했다고 밝혔습니다. 무제한적인 자율성을 지닌 AGI 개발 경쟁 대신, 의료 등 특정 영역에 특화되고 인간의 통제권 아래 안전하게 작동하는 실용적 AI 개발에 집중하겠다는 구상입니다.