캐릭터닷AI, 청소년 자해 조장 혐의로 또다시 피소
17세 청소년과 가족이 캐릭터닷AI와 구글을 상대로 텍사스 법원에 소송을 제기했다. 챗봇이 미성년자에게 자해를 유도하고 우울증을 악화시키는 등 결함 있는 설계를 방치했다는 주장이다. 구글은 해당 서비스와 기술적으로 무관하다고 선을 그었으며, AI 챗봇의 법적 책임을 둘러싼 논쟁이 커지고 있다.
AI 안전
최신 소식 보기
트럼프, 데이비드 삭스를 백악관 AI·가상자산 총괄 책임자로 지명
도널드 트럼프 미국 대통령 당선인은 유명 벤처투자자 데이비드 삭스를 백악관 AI 및 암호화폐 총괄 책임자로 임명한다고 밝혔다. 삭스는 미국의 AI·가상자산 정책 가이드라인을 주도하고 대통령 과학기술자문위원회를 이끌게 된다. 그는 특별 정부 직원으로 분류돼 자산 매각 의무를 지지 않는다.
OpenAI, o1 시스템 카드 발표: 추론 과정 활용해 탈옥 방어력 대폭 강화
OpenAI가 o1 및 o1-mini 모델의 시스템 카드를 공개했습니다. 사고 사슬 과정에서 안전 정책을 추론하는 '심사숙고 정렬'을 적용해 GPT-4o 대비 탈옥 공격 방어와 환각 억제 성능을 크게 개선했습니다. 다만 고도화된 추론으로 인한 기만 모니터링 등 새로운 과제도 남았습니다.
샘 알트만, AGI 눈높이 낮췄다 "생각보다 빨리 오겠지만 파장은 훨씬 덜할 것"
오픈AI CEO 샘 알트만은 딜북 서밋에서 AGI가 예상보다 빨리 등장하겠지만 사회적 파장은 훨씬 덜할 것이라고 밝혔다. 그는 안전에 대한 우려가 AGI 시점에 즉시 터지지 않으며, 진짜 거대한 변화는 '초지능' 단계에서 올 것이라고 내다봤다. 한편 AGI 도달 선언은 오픈AI가 마이크로소프트와의 독점 계약에서 벗어날 수 있는 핵심 조건이기도 하다.
안두릴과 OpenAI 파트너십 체결, 대드론 방어 AI 공동 개발
방산 기술 기업 안두릴과 OpenAI가 국가 안보 임무를 위한 전략적 파트너십을 체결했다. OpenAI의 첨단 모델을 안두릴의 래티스 플랫폼과 통합해 드론 등 공중 위협을 실시간으로 감지하고 대응하는 능력을 고도화할 계획이다. 최첨단 AI가 국방 일선에 본격 도입되는 흐름을 보여준다.
샘 올트먼: AI ‘초지능’이 가져올 충격, 생각보다 훨씬 강렬할 것
OpenAI의 샘 올트먼 CEO는 2025년에 복잡한 과제를 해결하는 첫 AGI 시스템이 등장할 수 있다고 전망했다. 초기 영향은 미미해 보일 수 있지만, 궁극적으로 초지능이 가져올 일자리 대체와 파급 효과는 사람들이 예상하는 것보다 훨씬 거셀 것이라고 경고했다.
메타, 선거 관련 가짜뉴스 중 AI 콘텐츠 비중은 1% 미만
메타는 2024년 글로벌 주요 선거 기간 동안 자사 플랫폼에서 팩트체크된 허위 정보 중 AI 생성 콘텐츠가 1% 미만이었다고 발표했다. 대선 직전 한 달간 정치인 딥페이크 생성 요청 59만 건을 차단했으며, 생성형 AI가 선거에 미친 악영향은 우려보다 훨씬 적었다고 설명했다.
특정 인물 이름 입력하면 먹통 되는 ChatGPT, 명예훼손 방지 필터 발각
ChatGPT에 Brian Hood나 Jonathan Turley 등 특정 인물의 이름을 입력하면 대화가 즉시 차단되고 강제 종료되는 하드코딩 필터가 확인됐다. 모델의 허위 답변으로 인한 명예훼손 소송을 피하기 위한 조치로 풀이되며, API 환경에서는 차단되지 않는다.
코히어, Rerank 3.5 공개: 추론 성능과 100개 이상 다국어 검색 강화
코히어가 기업용 검색과 RAG 시스템을 위한 재순위화 모델 Rerank 3.5를 출시했습니다. 한국어를 포함한 100개 이상의 언어를 지원하며, 금융과 이커머스 등 복잡한 데이터 검색에서 높은 정확도를 기록했습니다. Amazon Bedrock API를 통해 즉시 연동해 쓸 수 있습니다.
OpenAI 안전 연구원 로지 퇴사, AGI 대비팀 해체 여파
OpenAI에서 3년 반 동안 AI 거버넌스와 정책을 연구해 온 로지 캠벨(Rosie Campbell)이 퇴사를 발표했다. 마일스 브런디지의 퇴사와 AGI 준비팀 해체 이후 내부에서 연구를 이어가기 어려워졌으며, 외부에서 AI 안전 연구를 계속하겠다고 밝혔다.
일론 머스크, 오픈AI 영리법인 전환 중단 가처분 신청
일론 머스크가 법원에 오픈AI의 영리기업 전환을 막아달라는 가처분 신청을 냈다. 머스크 측은 오픈AI와 마이크로소프트가 투자자들에게 xAI 등 경쟁사 투자를 막는 등 반경쟁적 행위를 벌였다고 주장했다. 오픈AI 측은 근거 없는 주장이라며 즉각 반박했다.
캐나다 주요 언론사들, 저작권 침해로 OpenAI 공동 제소
캐나다 방송협회(CBC) 등 현지 주요 언론사 연합이 기사를 무단 수집해 ChatGPT 학습과 영리 활동에 이용했다며 OpenAI를 상대로 소송을 냈다. 언론사들은 징벌적 손해배상과 추가 사용 금지를 요구했으며, OpenAI 측은 공정 이용에 해당한다고 반박했다.
절대 송금 금지 AI 에이전트, 482번째 프롬프트에 47,000달러 털려
절대 돈을 송금하지 않도록 설계된 AI 에이전트 Freysa가 481번의 실패 끝에 482번째 시도에서 뚫렸다. 도전자 p0pular.eth는 입금 처리 함수로 위장하는 프롬프트 인젝션을 사용해 Freysa를 속였고, 결국 상금 풀에 있던 13.19 ETH(약 47,000달러) 전액을 획득했다.
오픈AI, 추론 모델 'o1' 상표권 출원…'GPT' 실패 딛고 보호 나서
오픈AI가 화요일 미 특허청(USPTO)에 'OpenAI o1' 상표 등록을 신청했다. 제출 서류에 따르면 오픈AI는 공식 발표 수개월 전인 5월에 이미 자메이카에서 해외 상표를 출원한 것으로 나타났다. 과거 'GPT' 상표 출원이 거절당했던 만큼 선제적 조치에 나섰으며, 현재 심사관 배정을 기다리고 있다.
MS 공식 해명: 오피스 문서로 AI 모델 학습 안 해
마이크로소프트가 워드와 엑셀 등 M365 고객 데이터를 AI 학습에 쓴다는 온라인 루머를 전면 부인했다. 논란이 된 '선택적 연결 환경' 설정은 문서 공동 편집 등 클라우드 기능 지원용일 뿐, LLM 학습과는 무관하다고 선을 그었다.
JP모건 CEO "AI 덕분에 주 3.5일 근무 시대 올 것"
JP모건의 제이미 다이먼 CEO는 블룸버그 TV 인터뷰에서 AI 발전으로 미래 세대의 주당 근무 시간이 3.5일로 줄어들 수 있다고 전망했다. 그는 일자리 대체 우려를 인정하면서도, 매년 대규모 채용을 진행하는 만큼 AI로 영향을 받은 직원을 해고하기보다 다른 직무로 재배치하겠다고 밝혔다.
예술가 단체, 항의 차원에서 오픈AI '소라' 접속 권한 유출
한 예술가 단체가 오픈AI의 동영상 생성 AI '소라'에 연결된 프론트엔드를 허깅페이스에 공개했다. 이들은 오픈AI가 아티스트들에게 무보수 노동을 요구하며 홍보에만 이용한다고 비판했다. 누구나 1080p 영상을 만들 수 있었던 해당 페이지는 약 3시간 만에 차단됐다.
트럼프, 백악관 'AI 차르' 신설 검토…머스크가 인선 참여 전망
Axios에 따르면 트럼프 미국 대통령 당선인이 연방 AI 정책과 정부 도입을 총괄할 백악관 'AI 차르' 신설을 검토 중이다. 일론 머스크가 직접 맡지는 않지만 인선에 깊이 관여할 예정이다. 상원 인준이 필요 없는 직책이어서 신속한 임명이 가능할 것으로 보인다.
엔비디아, 음성 생성 AI '푸가토' 공개…피아노 소리를 노랫소리로 변환
엔비디아가 텍스트 프롬프트로 소리를 생성·편집하는 AI 모델 '푸가토(Fugatto)'를 공개했다. 피아노 연주를 사람의 노랫소리로 바꾸거나 말하는 이의 억양과 감정을 조절할 수 있는 것이 특징이다. 다만 엔비디아는 안전성과 저작권 문제를 이유로 당분간 모델을 외부에 공개하지 않기로 했다.
오픈AI, 듀크대에 '인간 도덕성 예측' AI 연구 지원
공개된 세무 문서에 따르면 오픈AI는 듀크대학교 연구진의 'AI 도덕성' 연구에 자금을 지원 중이다. 3년간 100만 달러 규모 지원의 일환으로, 의료와 법률 등 갈등 상황에서 인간의 도덕적 판단을 예측하는 알고리즘을 훈련하는 것이 목표다. 다만 도덕의 극심한 주관성 탓에 기술적 한계에 대한 우려도 크다.