#IH-Challenge

オープンソース拡散指数 48

OpenAIが「IH-Challenge」公開：指示の優先順位を学習させプロンプト注入を防止

OpenAIはLLMの指示階層を強化する強化学習データセット「IH-Challenge」を公開した。「システム＞開発者＞ユーザー＞ツール」の優先順位を徹底させ、ツール出力等に潜むプロンプト注入攻撃を防御する。過剰な拒否反応を引き起こさずに安全性を高められる点が特徴だ。