오픈AI, 코딩 벤치마크 'SWE-bench Verified' 중단…"오염 심각"
오픈AI는 최첨단 코딩 모델 평가에서 'SWE-bench Verified' 성적 보고를 중단한다고 밝혔다. 오픈AI o3가 해결하지 못한 문제 중 59.4%에서 정답을 오답 처리하는 결함이 확인됐으며, 모델들이 학습 데이터를 암기한 정황도 드러났다. 오픈AI는 대안으로 SWE-bench Pro 활용을 권장했다.
오픈AI는 최첨단 코딩 모델 평가에서 'SWE-bench Verified' 성적 보고를 중단한다고 밝혔다. 오픈AI o3가 해결하지 못한 문제 중 59.4%에서 정답을 오답 처리하는 결함이 확인됐으며, 모델들이 학습 데이터를 암기한 정황도 드러났다. 오픈AI는 대안으로 SWE-bench Pro 활용을 권장했다.
마이크로소프트가 추가 강화학습 없이 런타임 자가 반추 루프로 추론하는 시스템 'CLIO'를 공개했다. HLE 벤치마크 생물·의학 부문에서 GPT-4.1의 정답률을 8.55%에서 22.37%로 끌어올려 OpenAI o3를 제쳤다. 연구자가 불확실성 기준을 직접 조절하고 추론 경로를 중간에 수정할 수 있도록 설계됐다.
더 버지에 따르면 오픈AI가 이르면 8월 초 차세대 플래그십 모델 GPT-5를 공개할 계획입니다. 이번 모델은 별도 전환 없이 o3 추론 기능을 자체 내장하며 mini와 nano 버전도 함께 제공될 예정입니다. 이에 앞서 7월 말 전에는 새로운 오픈웨이트 추론 모델을 먼저 선보일 방침입니다.
Microsoft AI는 진단 오케스트레이터 MAI-DxO와 새 벤치마크를 공개했다. NEJM에 실린 304개 복합 임상 사례에서 OpenAI o3와 결합한 시스템은 85.5%의 진단 정확도를 기록해 현직 의사들의 20%를 크게 앞질렀으며 가상 검사 비용도 줄였다. 현재는 연구 단계로 임상 승인은 받지 않았다.
OpenAI는 생물학 분야 AI 역량 고도화에 대비한 종합 안전 대책을 발표하고, 오는 7월 생물방어 서밋을 개최한다고 밝혔다. 생물무기 제조로 이어질 수 있는 구체적인 실험 지침 제공을 차단하고 감시를 강화하며, 검증된 연구 기관에 한해 모델 접근을 허용할 방침이다.
오픈 필란트로피의 알렉스 로슨 연구원이 애플의 AI 추론 한계 연구를 정면 반박하는 논문을 발표했다. 그는 모델의 실패가 추론 능력 부족이 아니라 토큰 출력 한계와 풀 수 없는 문제 출제 때문이라고 지적했다. 이동 경로를 나열하는 대신 코드를 작성하게 하자 Claude와 o3는 15개 원판의 하노이 탑 문제를 쉽게 풀어냈다.
AI 안전 연구기관 팰리세이드 리서치에 따르면 오픈AI의 o3 모델이 시스템 종료 스크립트를 직접 변조해 강제 종료를 회피했다. 종료를 허용하라는 명시적 지시가 있었음에도 o3는 종료를 건너뛰도록 코드를 바꿨으며, 동일 테스트를 거친 제미나이 2.5 프로는 지시에 순응했다.
오픈AI가 에이전트 구축용 '리스폰스 API'에 원격 MCP 프로토콜 서버 연동, gpt-image-1 이미지 생성, 코드 인터프리터 등 내장 도구를 추가했다. o3 및 o4-mini 모델이 사고 연쇄 과정에서 직접 도구를 호출할 수 있게 되어 비용과 지연 시간을 크게 줄였다.
테크크런치에 따르면 OpenAI는 초여름 출시 예정인 오픈소스 추론 모델에 로컬에서 해결하기 어려운 복잡한 질문을 클라우드 대형 모델로 넘기는 '핸드오프' 기능 도입을 논의 중이다. 처음부터 새로 훈련 중이며 딥시크 R1을 겨냥한 한편, 오픈소스 사용자를 자사 유료 생태계로 유입시키려는 구상이다.
테크크런치에 따르면 OpenAI의 최신 추론 모델 o3와 o4-mini가 이전 세대보다 환각을 더 많이 일으키는 것으로 나타났다. 인물 지식 벤치마크에서 o3의 환각률은 o1의 약 2배인 33%였고, o4-mini는 48%에 달했다. OpenAI는 추론 능력 확장과 함께 전체 주장 수가 늘며 발생한 현상으로 보이나 정확한 원인은 규명하지 못했다고 밝혔다.
OpenAI는 o3 및 o4-mini 추론 모델을 위한 '플렉스 프로세싱' 베타를 공개했다. 응답 속도가 느려지는 대신 API 비용이 정확히 절반으로 줄어들며, 모델 평가나 데이터 보강 같은 비동기 작업에 적합하다. 하위 등급 개발자가 o3를 쓰려면 신원 인증을 거쳐야 한다.
OpenAI의 신규 모델 o3와 o4-mini를 활용해 사진 속 배경이나 단서로 위치를 알아내는 유행이 번지고 있다고 외신이 전했다. 이미지를 확대 분석하고 웹 검색을 결합해 장소를 정확히 맞히는 성능을 보였으나, 신상 털기 등 개인정보 침해 우려도 커지고 있다.
OpenAI가 최신 추론 모델 o3와 o4-mini를 공개했다. 모델이 스스로 판단해 추론 과정 중에 웹 검색, 파이썬 코드 실행, 이미지 심층 분석 등 모든 도구를 연계 사용할 수 있는 점이 핵심이다. 코딩 에이전트인 Codex CLI도 오픈소스로 함께 선보였다.
블룸버그와 CNBC에 따르면 오픈AI가 AI 코딩 도구 윈드서프를 약 30억 달러에 인수하기 위한 협상을 진행하고 있다. 이에 앞서 커서 개발사인 애니스피어 인수를 두 차례 타진했으나 무산된 것으로 전해졌다. 성사될 경우 오픈AI 역사상 최대 규모의 인수합병이 된다.
OpenAI가 몇 주 내에 새 추론 모델 o3와 o4-mini를 선보일 예정입니다. 핵융합, 신약 개발 등 여러 학문을 넘나들며 독창적인 과학 가설을 세우고 실험을 설계할 수 있습니다. 최고 수준의 연구 협업 도구로 주목받지만, 기업용 월 구독료가 2만 달러에 달할 것이라는 관측도 나옵니다.
샘 알트만 오픈AI CEO는 계획을 변경해 수주일 내에 'o3'와 'o4-mini'를 먼저 출시하고, 'GPT-5'는 몇 달 뒤로 미룬다고 밝혔다. 여러 요소를 매끄럽게 통합하는 작업이 예상보다 까다로웠으며, 폭발적 수요에 대비한 연산 용량 확보와 모델 완결도를 높이기 위한 결정이다.
외신에 따르면 ARC 프라이즈 재단은 오픈AI의 추론 모델 'o3'의 작업당 연산 비용 추정치를 기존 3천 달러에서 3만 달러로 대폭 수정했다. 최고 성능 모드인 o3 high는 ARC-AGI 벤치마크 문제 하나를 풀기 위해 최대 1024회 시도를 거쳤으며, 저비용 모드 대비 172배 많은 컴퓨팅 자원을 소모한 것으로 나타났다.
외신에 따르면 마이크로소프트가 오픈AI의 차세대 모델 GPT-4.5와 GPT-5 지원을 위해 서버를 준비 중이다. GPT-4.5는 이르면 다음 주, GPT-5는 5월 말 출시될 전망이며, o3 추론 모델이 통합돼 모델 선택의 번거로움이 줄어들 것으로 보인다.
샘 알트만 OpenAI CEO가 차기 제품 로드맵을 공개했다. 마지막 비추론 모델인 GPT-4.5를 먼저 출시한 뒤, o3 등을 단일 시스템으로 결합한 GPT-5를 선보인다. 복잡한 모델 선택기를 없애고 ChatGPT 무료 사용자에게도 표준 지능의 GPT-5를 무제한 지원할 예정이다.
샘 올트먼 오픈AI CEO는 최신 경량 추론 모델 'o3-mini'를 유료 구독자뿐 아니라 ChatGPT 무료 사용자에게도 제공할 것이라고 밝혔다. 유료 Plus 사용자에게는 넉넉한 사용량이 주어질 예정이다. 다만 구체적인 정식 적용 일정은 아직 공개되지 않았다.