오픈AI 수석 과학자의 경고: 재귀적 자가 발전 임박, 글로벌 안전망 구축 촉구
오픈AI의 야쿠프 파초츠키 수석 과학자는 AI 발전이 곧 재귀적 자가 개선을 촉발할 수 있다고 경고했다. 그는 GPT-6 아스트라의 정렬 수준이 전작보다 나아졌으나 CoT 모니터링이 점차 한계에 부딪히고 있다며, 필요시 스케일링 중단을 포함한 전 세계적인 안전망 구축을 촉구했다.
오픈AI의 야쿠프 파초츠키 수석 과학자는 AI 발전이 곧 재귀적 자가 개선을 촉발할 수 있다고 경고했다. 그는 GPT-6 아스트라의 정렬 수준이 전작보다 나아졌으나 CoT 모니터링이 점차 한계에 부딪히고 있다며, 필요시 스케일링 중단을 포함한 전 세계적인 안전망 구축을 촉구했다.
알리바바 Qwen 팀이 325억 개 파라미터 규모의 추론 AI 모델 QwQ-32B-Preview를 Apache 2.0 라이선스로 공개했다. 알리바바 자체 테스트에서 AIME와 MATH 벤치마크 점수가 오픈AI의 o1-preview를 앞섰으나, 루프 현상 등 일부 한계도 언급됐다.
OpenAI가 언어 모델의 환각 현상을 측정하는 새 벤치마크 'SimpleQA'를 오픈소스로 공개했다. 명확한 단일 정답이 있는 4326개 질문으로 구성됐으며 최신 모델인 GPT-4o도 정답률이 40% 미만에 그쳤다. 모델이 틀린 답을 내면서도 확신하는 '과신' 현상을 정량화한 것이 특징이다.
OpenAI가 Plus 및 Team 유료 사용자를 대상으로 o1 모델의 사용량 제한을 완화했다. 가벼운 o1-mini는 기존 주당 50건에서 하루 50건으로 7배 늘어났으며, 연산 비용이 더 큰 o1-preview도 주당 30건에서 50건으로 확대됐다.
OpenAI가 지난주 추론 능력을 갖춘 o1 모델을 선보인 이후, 숨겨진 원시 사고 과정(Chain of Thought)을 캐내려 시도한 사용자들에게 경고 메일을 보내며 계정 차단을 경고하고 나섰다. o1은 필터링된 추론 요약만 보여주도록 설계되었으며, 프롬프트에 'reasoning trace' 같은 단어를 넣기만 해도 안전 정책 위반으로 감지된다.