OpenAI 开源事实基准 SimpleQA：GPT-4o 正确率不足 40%
OpenAI 开源了事实性评测基准 SimpleQA。该数据集包含 4326 个答案固定且唯一的简短事实问题，专为测试前沿模型的幻觉设计，目前 GPT-4o 的得分不到 40%。测试发现，虽然模型具备一定自我评估能力，但普遍存在过度自信的问题。
OpenAI 开源了事实性评测基准 SimpleQA。该数据集包含 4326 个答案固定且唯一的简短事实问题，专为测试前沿模型的幻觉设计，目前 GPT-4o 的得分不到 40%。测试发现，虽然模型具备一定自我评估能力，但普遍存在过度自信的问题。