You.com、あらゆるLLMにリアルタイムWeb検索を繋ぐAPIを公開

大規模言語モデルの多くは、学習データの締め切り以降の世界を知りません。ChatGPTはMicrosoftのBing検索と手を組み、GoogleのBardは自社検索を利用してネットと繋がりましたが、他のモデルはどうやって最新情報を手に入れればいいのでしょうか。

AI検索エンジンのYou.comは、MetaのLlama 2をはじめとするあらゆる言語モデルにリアルタイムのWebアクセスを提供する新APIを発表しました。AnthropicやCohere、LlamaIndexなどがすでに導入を進めています。

料金は月額100ドルからで、14200回のリクエストが利用可能です。まずは毎月1000回まで呼び出せる60日間の無料トライアルが用意されており、大企業向けの年間契約プランも提供されます。

AI向けに作られた長文スニペット

従来のGoogleやBingの検索APIと何が違うのかについて、You.comの創業者兼CEOであるRichard Socher氏は、抽出されるスニペットの長さを挙げています。人間のクリックを誘うための短い抜粋ではなく、LLMが文脈を理解できるよう設計された長めのテキストインデックスを独自に構築したといいます。

ユーザーが質問すると、APIが該当する長文スニペットを検索し、プロンプトの後ろにコンテキストとしてリアルタイムに挿入します。APIは通常のWeb検索、ニュース検索、検索結果をモデルと組み合わせて事実性を高めるRAGの3種類が用意されています。

ただし課題もあります。静的なデータセットと違って現在のWebにはSEOスパムや不正確な情報が溢れており、ユーザーの位置情報を持たないため「近くのレストラン」といったローカル検索にはうまく答えられません。今後のアップデートでニュースと通常検索の統合や、引用元を追跡できる機能の強化を進めるとしています。

なぜ重要か

このAPIの最大の意義は、検索という大手の特権をコモディティ化しようとしている点にあります。

オープンソースモデルの性能が向上しても、最新情報の取得という面ではBingを持つOpenAIやGoogleが圧倒的に有利でした。独自のスクレイピング基盤を持たない開発者やスタートアップにとって、LLM向けに最適化された検索インフラを月額100ドルから手軽に組み込めるのは大きな魅力です。

しかし、検索を介したLLMの動作には常にデータの信頼性というリスクがつきまといます。Web上のノイズや偏った情報をそのままプロンプトに取り込んでしまえば、ハルシネーションを抑制するどころか誤情報を増幅させる危険性もあります。You.comがどこまで質の高いインデックスを維持できるかが、今後の普及の分かれ目になると見ています。