OpenAI, 'IH-Challenge' 공개: 지시 계층 강화로 프롬프트 주입 공격 차단
OpenAI가 대형언어모델의 지시 우선순위를 강화하는 강화학습 데이터셋 'IH-Challenge'를 오픈소스로 공개했다. '시스템 > 개발자 > 사용자 > 도구' 순의 신뢰 계층을 학습시켜 외부 데이터에 섞인 프롬프트 주입 공격을 방어하며, 과도한 거부 반응 없이 안전성을 높였다.
OpenAI가 대형언어모델의 지시 우선순위를 강화하는 강화학습 데이터셋 'IH-Challenge'를 오픈소스로 공개했다. '시스템 > 개발자 > 사용자 > 도구' 순의 신뢰 계층을 학습시켜 외부 데이터에 섞인 프롬프트 주입 공격을 방어하며, 과도한 거부 반응 없이 안전성을 높였다.