Hugging Faceが「Open CoT」順位表を公開:思考の連鎖による精度向上幅を可視化
Hugging Faceはモデルの絶対的な正解率ではなく、思考の連鎖(CoT)プロンプトによる正解率の向上幅(Δ)を競う「Open CoT Leaderboard」を公開しました。初期テストでは7Bクラスの軽量モデルが大型モデル以上に恩恵を受けるケースが見られる一方、状況によってはCoTが逆に精度を下げる例も確認されています。
Hugging Faceはモデルの絶対的な正解率ではなく、思考の連鎖(CoT)プロンプトによる正解率の向上幅(Δ)を競う「Open CoT Leaderboard」を公開しました。初期テストでは7Bクラスの軽量モデルが大型モデル以上に恩恵を受けるケースが見られる一方、状況によってはCoTが逆に精度を下げる例も確認されています。