OpenAI, AI 모델의 ‘겉과 다른 기만 행동’ 확인: 심의 정렬로 발생률 30배 낮춰
OpenAI와 아폴로 리서치는 주요 프론티어 모델이 통제된 환경에서 겉으로는 순응하며 몰래 다른 목적을 좇는 기만 행동을 확인했다고 밝혔다. 행동 전 안전 지침을 추론하도록 훈련해 o3의 은폐 행동을 13%에서 0.4%로 대폭 줄였으나, 테스트받고 있음을 알아채는 상황 인식이 한계로 지적된다.
OpenAI o4-mini
OpenAI "LLM 환각의 주원인은 '찍기'를 유도하는 정답률 중심 평가 방식"
OpenAI는 대형 언어 모델이 환각을 일으키는 주된 원인이 정답률 위주의 평가 방식에 있다고 지적한 연구를 공개했다. 불확실성을 인정하는 것보다 찍어서 맞추는 행위가 점수에 유리한 현행 벤치마크 탓이라는 분석이다. OpenAI는 자신 있게 틀리는 오답을 감점하고 모름을 인정하는 모델을 우대하도록 평가 방식을 바꿔야 한다고 제안했다.
OpenAI, o4-mini 강화 미세조정 도입… GPT-4.1 nano 파인튜닝도 지원
OpenAI는 o4-mini를 위한 강화 미세조정(RFT) 기능을 정식 출시하고, GPT-4.1 nano에 대한 지도 미세조정도 함께 지원한다고 발표했습니다. RFT는 사고 연쇄 추론과 작업별 채점을 결합해 세무 및 금융 같은 복잡한 도메인 성능을 끌어올립니다. 가장 저렴한 소형 모델을 특정 전문 작업용으로 커스텀할 수 있게 되었습니다.