OpenAI 開源事實基準 SimpleQA：GPT-4o 正確率不足 40%
OpenAI 開源了事實性評測基準 SimpleQA。該資料集包含 4326 個答案固定且唯一的簡短事實問題，專為測試前沿模型的幻覺設計，目前 GPT-4o 的得分不到 40%。測試發現，雖然模型具備一定自我評估能力，但普遍存在過度自信的問題。
OpenAI 開源了事實性評測基準 SimpleQA。該資料集包含 4326 個答案固定且唯一的簡短事實問題，專為測試前沿模型的幻覺設計，目前 GPT-4o 的得分不到 40%。測試發現，雖然模型具備一定自我評估能力，但普遍存在過度自信的問題。