AnthropicがClaude 2.1を発表：20万トークン対応、ハルシネーションを半減

何百ページもある有価証券報告書や巨大なコードベースをAIに読み込ませようとして、テキストを細かく分割する作業にうんざりした経験はないでしょうか。

Anthropicは最新モデル「Claude 2.1」を発表し、APIコンソールおよびclaude.aiのチャット機能で提供を開始しました。長文処理能力と信頼性の大幅な向上が目玉となっています。

500ページを丸ごと読み込む20万トークン

Claude 2.1の最大の進化は、業界初となる20万トークンのコンテキストウィンドウです。これは英語換算で約15万単語、ページ数にして500ページ以上の資料に相当します。

オデッセイのような長編文学作品や企業のS-1申請書類、大規模なコードベースをそのまま投入し、複数ドキュメントの比較分析やトレンド予測、質疑応答を一括して実行できます。

ただし、この規模のテキスト処理には相応の時間がかかります。人間なら数時間かかる作業を数分でこなすものの、Anthropicは技術の進展に伴いレイテンシは大幅に短縮される見込みだと説明しています。

ハルシネーションを半減させ「分からない」と言えるように

もう一つの重要な改良点が、事実に基づかない回答（ハルシネーション）の抑制です。

Claude 2.1は前バージョンの2.0と比較して、虚偽の回答をする割合が半減しました。既知の弱点を突く事実確認テストにおいて、間違った情報をでっち上げるのではなく、「分かりません」と回答を控える傾向が明確に強まっています。

法務文書や財務レポートの要約評価でも誤答が30パーセント減少し、文書が特定の主張を裏付けていると誤認する割合は3分の1から4分の1に低下しました。あわせて開発者向けには、システムプロンプトの導入、プロンプト検証用環境「Workbench」、外部APIや検索を呼び出す「ツール利用」のベータ機能も追加されています。

なぜ重要か

20万トークンもの情報を一気に読み込めるようになったことは、膨大な規約や契約書を扱う法務担当者やリサーチ部門にとって極めて実用的な進化です。複雑なテキスト分割システムを組む手間が省けます。

今回のアップデートで特に巧妙だと感じるのは、単に出力品質を誇るのではなく、「不確実なときに回答を拒否する正直さ」を前面に出した点です。企業が業務にAIを導入する際、もっとも警戒するのは誤情報による判断ミスです。知らないことを知らないと言える信頼性は、法人採用の決定打になり得ます。

競合各社も今後コンテキストの拡大競争に追随せざるを得なくなるはずです。一方で、長文処理に数分を要するレイテンシの長さは、即時性が求められる対話型サービスにおいては依然として実用上のハードルと言えます。