本文へスキップ
IFAI

AIツール

Perplexityが「Search API」を公開、数千億ページの検索基盤を開発者に開放

公開 拡散指数 42

Perplexityは自社AI回答エンジンの基盤技術を提供する「Perplexity Search API」を発表した。数千億のウェブページをカバーし、AI向けに文書内の細かいスニペット単位で関連度をスコアリングして返す。評価フレームワーク「search_evals」と専用SDKも併せて公開された。

Perplexityが「Search API」を公開、数千億ページの検索基盤を開発者に開放
画像:perplexity.ai

AIエージェントやRAGシステムを開発したことがある人なら、従来の検索エンジンAPIから返ってくる粗削りなHTMLの後処理に頭を抱えたり、インデックスの更新遅れでハルシネーションを起こされたりした経験があるはずです。

Perplexityは9月25日、自社の対話型検索エンジンを支えるバックエンド基盤を外部開発者に開放する「Perplexity Search API」の提供を開始しました。

LLMのために最適化されたサブドキュメント単位のインデックス

Perplexityが提供するインデックスは数千億規模のWebページを網羅していますが、最大の特徴はAI向けに特化したデータ処理構造にあります。

従来のAPIのようにWebページ全体を丸ごと返すのではなく、システム内部でドキュメントをより細かなサブドキュメント単位に分割します。その上で、クエリとの関連度スコアを算出し、あらかじめ重要スニペットを順位付けした状態で開発者に返します。

これにより、開発者側でテキストのチャンク分割や再ランキング処理を作り込む手間が大幅に省け、そのままLLMのコンテキストに投入できるようになります。

鮮度についても、毎秒数万件のインデックス更新リクエストを処理していると説明しています。AIを活用したコンテンツ理解モジュールが、乱雑なWebページの構造に応じた解析ロジックを動的に生成し、1時間に数百万件寄せられるユーザーの検索信号を手がかりに自己改善を繰り返す仕組みです。

オープンソースの評価フレームワークとSDKも提供

APIの公開に合わせ、PerplexityはSonar APIと統合した新しい開発者向けプラットフォームと、専用のSearch SDKを公開しました。

社内エンジニアの検証では、最新のAIコーディングツールとこのSDKを組み合わせることで、1時間足らずで実用的なプロトタイプを構築できたといいます。

さらに同社は、公開されている各種検索APIの遅延や回答精度を客観的に比較できる評価フレームワーク「search_evals」をオープンソースで公開しました。単一検索だけでなく、複数ステップを踏む自律型エージェントの検証にも対応しています。

来月にはサンフランシスコで開催されるAPI Dayやロンドンでのハッカソンでも本APIの活用方法が披露される予定です。

なぜ重要か

AIエージェントやリサーチツールを作る開発者にとって、信頼できるWeb検索基盤を自前で用意するコストは非常に高いものでした。Perplexityがすでにクレンジングとスニペット抽出を済ませた状態でデータを返してくれるなら、プロトタイプから本番環境への移行期間を劇的に短縮できます。

業界全体で見れば、Perplexityが一般ユーザー向け検索サービスから、AIインフラのプラットフォーム事業者へと軸足を広げ始めたことを意味します。Googleなどの検索大手だけでなく、Web検索APIを提供する競合にとっても大きな脅威になるはずです。

消費者向けサービスで大量のユーザーフィードバックを集め、それをAPIの検索精度向上に直結させる循環を作った点は非常に合理的だと評価できます。一方で、Webクローリングをめぐるコンテンツパブリッシャーとの権利関係や摩擦については、APIの利用がサードパーティに拡大することでさらに議論を呼ぶ可能性があり、注視が必要です。

情報源 (1)

  1. [1]
    perplexity.ai(新しいタブで開きます)原文perplexity.ai

毎日のAIピックアップ