OpenAI 开源 IH-Challenge 数据集:强化指令层级,防止大模型被带偏
OpenAI 开源强化学习训练数据集 IH-Challenge,用于强化大模型的指令层级秩序。所谓指令层级,即模型严格按「系统 > 开发者 > 用户 > 工具」的优先级执行指令。经过该数据集训练的内部模型能大幅提升抵御提示词注入的能力,且不会导致过度拒答。
OpenAI 开源强化学习训练数据集 IH-Challenge,用于强化大模型的指令层级秩序。所谓指令层级,即模型严格按「系统 > 开发者 > 用户 > 工具」的优先级执行指令。经过该数据集训练的内部模型能大幅提升抵御提示词注入的能力,且不会导致过度拒答。