AIベンチマークの形骸化を検証：MMLUのスコアが実力を示せない理由
The MarkupはGoogleやMetaが誇示するMMLUなどのAIベンチマークに重大な欠陥があると報じました。多くのテストは古く、一般のネット投稿から収集された問題が中心で、実際の推論力やハルシネーション抑制力を測れていないと専門家が警告しています。
The MarkupはGoogleやMetaが誇示するMMLUなどのAIベンチマークに重大な欠陥があると報じました。多くのテストは古く、一般のネット投稿から収集された問題が中心で、実際の推論力やハルシネーション抑制力を測れていないと専門家が警告しています。