OpenAI, 프롬프트 자동 평가 위한 Evals API 출시
OpenAI가 프롬프트와 모델 출력을 코드로 자동 평가할 수 있는 Evals API를 공개했다. 기존 웹 대시보드 방식에서 벗어나 파이썬으로 맞춤형 평가 로직을 작성하고 CI/CD 파이프라인에 통합해 일반적인 단위 테스트처럼 모델 품질을 지속 점검할 수 있다.
OpenAI Evals
오픈AI, 차세대 멀티모달 모델 'GPT-4' 공개…변호사 시험 상위 10% 수준
오픈AI가 텍스트와 이미지를 모두 입력받는 멀티모달 모델 GPT-4를 공식 공개했다. 모의 변호사 시험에서 하위 10% 수준이던 GPT-3.5와 달리 상위 10% 성적을 거뒀으며 허용되지 않은 콘텐츠 응답률도 82% 줄였다. 텍스트 기능은 챗GPT 플러스와 API 대기자 명단을 통해 제공된다.