本文へスキップ
IFAI

AIモデル

Googleの未発表「Gemini 4 Pro」か、Arenaに謎のモデルが出現しSOTAを連発

公開 拡散指数 50

大模型競技場「Arena」に「gemini-3.8-flash」を名乗る謎のモデルが登場し、未発表のGemini 4 Proと見られている。わずか10分で複雑なSVGアニメーションを生成したほか、エージェントコーディングなどの流出ベンチマークで首位を獲得した。

Googleの未発表「Gemini 4 Pro」か、Arenaに謎のモデルが出現しSOTAを連発
画像:finance.sina.com.cn

大規模モデルのブラインド評価を行う Chatbot Arena に、「gemini-3.8-flash」という仮の名を冠した謎のモデルが現れました。コミュニティのブラインドテストでは、これが Google の未発表モデル「Gemini 4 Pro」ではないかと話題を呼んでいます。

ベンチマークを席巻、SVG 生成デモも話題に

このモデルは、精巧な機械仕掛けの蝶の SVG アニメーションをわずか 10 分で生成して注目を集めました。同様の作業に Fable は約 30 分を要したとされています。

流出したベンチマークシートでも高いスコアを示しています。自律型コーディング評価 DeepSWE v1.1 では 88.7% を記録し、Astra の 86.9% を上回りました。

実務ナレッジワークを測る GDPval-AA v2 では、唯一 2000 Elo を突破し 2064 Elo に到達しています。

さらにターミナル操作評価 Terminal-bench 2.1 で 95.3%、OS 操作テスト OSWorld-2.0 でも 86.8% と、主要テストで首位をマークしました。

なぜ重要か

Google が単なる対話応答ではなく、エージェントによる実務実行能力へ明確に舵を切っていることがうかがえます。OSWorld で 86% を超えた点は、AI が画面操作を伴う複雑な作業を完結させる水準に近づいていることを示しています。

開発者にとって、この性能が正式リリースされれば、日々のコード作成や環境構築の自動化が大きく進む可能性があります。ただし、現時点で判明しているのはテストでの挙動と流出データに限られます。実際の業務環境でどれだけ安定して動くかは、正式な API 提供を待つ必要があります。

情報源 (1)

  1. [1]
    ithome.com(新しいタブで開きます)原文ithome.com

毎日のAIピックアップ