「王座陥落」――Claude 3 Opus、Chatbot ArenaでGPT-4を抜き初首位

生成AIの世界には、この1年間ずっと破られていない不文律がありました。各社が発表会でどんなに都合のいいベンチマークスコアを並べようと、ユーザーのブラインドテストの場では常にGPT-4が頂点に君臨し続ける、という事実です。

しかし今週火曜日、その牙城がついに崩れました。Anthropicの最上位モデル「Claude 3 Opus」が、AI評価プラットフォーム「Chatbot Arena」の総合ランキングで初めてOpenAIのGPT-4を抜き、首位に立ちました。ソフトウェア開発者のNick Dobos氏がXに投稿した「王は死んだ。GPT-4よ安らかに眠れ」という言葉は、瞬く間に開発者界隈を駆け巡りました。

決め手はスコアの数字ではなく、人間の「手触り」

Chatbot Arenaは、カリフォルニア大学バークレー校などの研究者らが運営するLMSYS ORGが提供する評価サイトです。

仕組みは極めてシンプルです。ユーザーが任意のプロンプトを入力すると、どのモデルか隠された2つの回答が左右に並んで出力されます。人間が直感的に「どちらが優れているか」を判定して初めてモデル名が開示され、数万件に及ぶ主観評価が集計されてレーティングが決まります。

従来の静的なテストでは事前学習によるカンニングが疑われがちですが、この人間による主観的な使い心地、いわゆる「バイブス」の勝負で、2023年5月の参入以来無敗を誇ってきたGPT-4がついに敗れました。

さらに注目されているのは、最軽量かつ安価なモデル「Claude 3 Haiku」の健闘です。独立系AI研究者のSimon Willison氏は、高度なタスクならOpus、コストと速度ならHaikuと、あらゆるクラスで最高のモデルがOpenAI以外から提供される初めての状況が訪れたと評価しつつも、GPT-4の登場から追いつくまでに丸1年かかった点も指摘しています。

なぜ重要か

現場のエンジニアや日常的にAIツールを使うクリエイターにとって、OpenAI一強を前提とした業務フローを見直す明確な理由ができました。Claude 3は自然な日本語表現やコード生成の文脈理解に優れており、すでにChatGPTから日常の作業環境を移行する動きが広がっています。

業界全体にとっても、健全な競争環境を取り戻す大きな転換点です。市場の独占が崩れたことで、価格競争や機能改善のサイクルが一段と加速することは間違いありません。AnthropicにはAmazonから追加で27億5000万ドルの資金が注入されるなど、開発基盤の強化も進んでいます。

ただし、この王座交代を手放しで永続的なものと捉えるのは早計だと私たちは考えます。今回Claude 3が競り勝った相手は、登場から丸1年以上が経過した旧世代のシステムに過ぎません。

OpenAIが今年中に投入すると噂される次世代モデルがどれほどのジャンプを見せるかによって、勢力図は容易に再逆転し得ます。それでも、OpenAIを本気で焦らせる本物のライバルが出現したという事実は、AIエコシステム全体にとって極めてポジティブなニュースです。