OpenAIが「IH-Challenge」公開:指示の優先順位を学習させプロンプト注入を防止
OpenAIはLLMの指示階層を強化する強化学習データセット「IH-Challenge」を公開した。「システム>開発者>ユーザー>ツール」の優先順位を徹底させ、ツール出力等に潜むプロンプト注入攻撃を防御する。過剰な拒否反応を引き起こさずに安全性を高められる点が特徴だ。
OpenAIはLLMの指示階層を強化する強化学習データセット「IH-Challenge」を公開した。「システム>開発者>ユーザー>ツール」の優先順位を徹底させ、ツール出力等に潜むプロンプト注入攻撃を防御する。過剰な拒否反応を引き起こさずに安全性を高められる点が特徴だ。