#MMLU

08:30產業動態傳播指數 38

AI 基準測試失靈調查：MMLU 等主流跑分很難測出真實水平

The Markup 調查指出，Google 與 Meta 等巨頭熱衷引用的 MMLU 等跑分測試存在嚴重缺陷。許多測試題庫年頭過久或源自網路抓取，無法反映真實推理與防幻覺能力，反而給公眾造成模型具備專家級能力的錯覺。