GoogleとSourcegraph検証：Geminiの100万トークンでCodyの誤答率が半減

巨大で複雑なコードベースを AI に読ませようとして、文脈の制限に阻まれた経験がある開発者は多いはずです。これまでの AI コーディング支援ツールは、コードのごく一部を切り取ってモデルに渡すしかありませんでした。

Google は、AI 支援ツール Cody を開発する Sourcegraph と共同で、Gemini 1.5 Flash の 100 万トークンにおよぶ超長コンテキストを活用した検証結果を公表しました。

ハルシネーションは半減、だが初速に課題

Sourcegraph は、複雑なコードベースに関する難度の高い技術的 Q&A を使い、従来の Cody 本番環境と 100 万トークンの長コンテキスト版を直接比較しました。

結果として、重要な情報の網羅性、簡潔さ、有用性という 3 つの主要ベンチマークすべてで明確な向上が確認されました。

最も注目すべきは、誤った情報を生成するハルシネーション発生率の変化です。従来の 18.97% から 10.48% へと大幅に低下し、事実に基づいた信頼性の高い回答が得られるようになりました。

一方で、コンテキストが長くなるほど最初の文字が出力されるまでの時間（TTFT）が直線的に伸びるという明確なトレードオフも浮き彫りになりました。1MB 相当のコンテキストでは、最初の出力までに 30 秒から 40 秒も待たされる状態でした。

Sourcegraph はこれに対し、モデルの実行状態キャッシュを活用した階層型コンテキストアーキテクチャとプリフェッチ機構を導入しました。これにより、Gemini 1.5 Flash や Pro を使った長コンテキスト環境でも、初速を約 5 秒にまで短縮することに成功しています。

なぜ重要か

これまで大規模コードを扱う AI ツールは、関連しそうな箇所を検索してプロンプトに詰め込む RAG 手法が主流でした。しかし、複雑に入り組んだ依存関係を断片的な検索だけで拾い切るのには限界がありました。

今回の検証は、圧倒的な長コンテキストを力技で流し込むアプローチが、コード理解の精度向上とハルシネーション抑制に極めて有効であることを示しています。大規模システムを保守するエンタープライズの現場にとって、信頼性の向上は導入の決定打になり得ます。

もっとも、日常的な開発体験という観点ではまだ懸念が残ると私たちは考えます。最初のレスポンスが 5 秒に縮まったとはいえ、キーボードを叩きながら瞬時の補完を求めるプログラマーにとって、5 秒の沈黙は決して短くありません。

さらに、100 万トークン規模のクエリを頻繁に投げるための推論コストやキャッシュ管理の複雑さを考えると、当面は常時インライン補完というより、深い障害調査やリファクタリングの相談相手としての運用が現実的になりそうです。