Inclusion AI、実環境アプリでLLMを直接戦わせる「Inclusion Arena」公開
アント・グループ傘下のInclusion AIは、実稼働アプリ内でLLMを比較評価する新ベンチマーク「Inclusion Arena」を発表した。静的データセットではなく、Joylandなどの日常会話でブラインド対決を発生させユーザーの好みを測定する。初期の50万回超の対戦ではClaude 3.7 SonnetやDeepSeek v3が上位に入った。
アント・グループ傘下のInclusion AIは、実稼働アプリ内でLLMを比較評価する新ベンチマーク「Inclusion Arena」を発表した。静的データセットではなく、Joylandなどの日常会話でブラインド対決を発生させユーザーの好みを測定する。初期の50万回超の対戦ではClaude 3.7 SonnetやDeepSeek v3が上位に入った。