Anthropicが「Claude 3」発表、最上位Opusが主要ベンチマークで首位に

長らく GPT-4 が独占してきた最高峰 AI モデルの座に、ついに強力な対抗馬が現れました。

Anthropic は現地時間 3 月 4 日、次世代モデルファミリー「Claude 3」を発表しました。今回のラインナップは性能と速度順に、Claude 3 Haiku、Claude 3 Sonnet、Claude 3 Opus の 3 モデルで構成されています。

最上位の Opus と標準モデルの Sonnet は、すでに 159 か国の API および claude.ai 向けに提供が始まっており、最速の Haiku も間もなく登場する予定です。

ベンチマークで首位獲得、テストの違和感も見抜く

最も注目を集めているのが、フラッグシップの Opus です。学士レベルの知識を測る MMLU や大学院レベルの推論力を見る GPQA、GSM8K 数学テストなどの主要ベンチマークにおいて、競合の最上位モデルを上回るスコアを記録しました。

Claude 3 シリーズは全モデルで画像認識に対応しました。PDF や技術図面、プレゼンスライド、フローチャートなどの視覚情報を正確に読み取ることが可能です。

処理速度の進化も著しく、Sonnet は前世代の Claude 2 と比べて 2 倍の速さを実現しました。軽量モデルの Haiku に至っては、図表を含む約 1 万トークンの学術論文を 3 秒未満で読み込みます。

また、従来の Claude で不評だった「過剰な回答拒否」も大幅に改善されました。文脈の理解度が向上したことで、無害なプロンプトを誤って拒絶する頻度が激減し、難問に対する回答精度も Claude 2.1 から倍増しています。

コンテキスト長は標準で 200k トークンに対応し、大量のテキストから特定情報を探し出すテストでは 99% 以上の精度を叩き出しました。Opus は単に正解を見つけるだけでなく、「この文章はテストのために人工的に挿入されたように見える」と指摘し、テスト側の構造自体を察知する挙動も見せました。

なぜ重要か

AI 開発の最前線において、GPT-4 を総合力で超えたと胸を張れるモデルが登場した意味は極めて大きいです。

一般ユーザーや開発者にとっても、今すぐ試す価値は十分にあります。無料版の claude.ai にはすでに Sonnet が組み込まれており、日常的な文章作成やコード生成のレスポンスが格段に良くなっています。有料プランや API で Opus を使えば、複雑な契約書の分析やリサーチ業務の精度が一段階引き上がります。

3 つのモデルに役割を明確に分けた戦略も現実的です。チャットボットのような即時性が求められる用途には Haiku、日常の業務処理には Sonnet、難度の高い推論には Opus と使い分けることで、企業はコストとパフォーマンスを最適化できます。

懸念点としては、Opus のような巨大モデルを安定して回すためのインフラ負荷とコストが挙げられます。それでも、OpenAI 一強だった市場に健全な緊張感をもたらしたことは間違いありません。