#SimpleQA

10:00研究拡散指数 35

OpenAI、事実性ベンチマーク「SimpleQA」公開：GPT-4oの正解率は40％未満

OpenAIはAIのハルシネーション（幻覚）を測る新ベンチマーク「SimpleQA」をオープンソース化。明確な単一の答えがある4326問で構成され、GPT-4oでも正解率は40％未満にとどまる。AIが誤答にもかかわらず高い自信を示す「過信」の度合いも数値化できる。