LMSYSがImage Arena公開：FLUXやDALL-Eをブラインド対決

LLMの性能評価でデファクトスタンダードとなったLMSYS（lmarena.ai）が、画像生成モデルの比較プラットフォームを立ち上げました。

LMSYSは「Image Arena」を公開しました。参加モデルにはFLUX、Stable Diffusion、Dall-E、Recraft、Ideogramなどの主要モデルが名を連ねています。

仕組みはこれまでのChatbot Arenaと同じです。ユーザーがプロンプトを入力すると、2つの匿名モデルが画像を生成し、ユーザーがより優れている方に投票します。投票結果に基づくリーダーボードも近日中に公開される予定です。

名前を隠して画力だけで勝負

ブランド名やパラメータ数を隠したブラインドテスト形式により、先入観のない純粋な品質勝負が可能になります。オープンソースか商用モデルかを問わず、プロンプトの再現性や描画力そのものが問われます。

なぜ重要か

画像生成モデルの評価は、これまで客観的な基準を作ることが非常に難しい領域でした。学術的なベンチマークスコアが高くても、人間の好む絵柄や構図と一致しないケースが多かったためです。

私たちは、このImage Arenaが画像生成分野の透明性を大きく高めると考えています。クリエイターにとっては、各社のプロモーション画像に惑わされず、実際のプロンプトでどのモデルが優秀かを見極める有力な判断材料になります。

一方で、不特定多数による投票は、細部の正確さよりも「パッと見の派手さ」や写実的な画風が好まれやすいというバイアスも抱えています。今後のリーダーボードがどこまで公平性を担保できるかが注視されます。