GoogleがGemini 1.5発表：最大100万トークン対応、1.0 Ultra級の性能を軽量実現

Gemini 1.0 Ultraを開発者向けに公開してからわずか1週間後、Googleは予告なしに次世代モデル「Gemini 1.5」を発表しました。

今回先行リリースされた中規模モデル「Gemini 1.5 Pro」の最大の衝撃は、100万トークンという驚異的なコンテキストウィンドウの広さです。研究環境では1000万トークンでのテストも成功しています。

100万トークンで何ができるのか

100万トークンと言われてもピンとこないかもしれませんが、これは1時間の動画、11時間の音声、3万行以上のコード、あるいは約70万語のテキストを一度に読み込める分量です。

基盤アーキテクチャにはMixture of Experts、いわゆるMoEを採用しました。入力に応じて必要な専門ネットワークだけを選択的に動かすため、処理効率が劇的に向上しています。

その結果、中規模の1.5 Proでありながら、社内ベンチマークの87パーセントで前世代の1.0 Proを上回り、最上位の1.0 Ultraに匹敵する性能を叩き出しています。

大量のデータを詰め込んでも、中身を見落としては意味がありません。膨大なテキストから特定の情報を見つけ出すテストにおいて、1.5 Proは100万トークンのデータ内から99パーセントの精度で目的の記述を発見しました。

44分間の無声映画を丸ごと読み込ませて細かなシーンの描写を答えさせたり、アポロ11号の月面着陸に関する402ページの交信記録を読み込ませて複雑な推論を行わせたりといった実演も行われています。

「文脈内学習」がもたらす新しい可能性

もう一つの目玉は、プロンプトに資料を与えるだけで新しい能力を身につける「文脈内学習」の高さです。

Googleは、世界に話者が200人未満しかいないカラマン語の翻訳テストを実施しました。ウェブ上にほとんど学習データが存在しない言語です。

プロンプトの中に文法書や辞書をそのまま投入したところ、モデルは事前のファインチューニングなしで英語とカラマン語の相互翻訳を習得し、人間が同じ教材で勉強した場合と同等の翻訳精度を達成しました。

現在、100万トークンの機能はAI StudioおよびVertex AIを通じて一部の開発者向けに無償プレビュー公開されています。一般提供時の標準コンテキストは12万8000トークンとなり、100万トークンは有料の上位枠として提供される予定です。

なぜ重要か

Gemini 1.5 Proの登場は、これまで当たり前とされてきたAI開発のワークフローを根本から変えてしまう可能性があります。

これまで開発者は、モデルの記憶容量の少なさを補うために、テキストを細かく分割してベクトル検索を行うRAGの手法を構築してきました。しかし、100万トークンをそのまま放り込んで99パーセントの精度で読み取れるのであれば、多くの現場で面倒なRAGの仕組みが不要になるかもしれません。

手元のソースコードベース全体や数年分の財務諸表、長時間の講義動画をそのままプロンプトに貼り付けるだけで済む利便性は、エンジニアやコンテンツ制作者にとって極めて強力です。

一方で課題となるのは応答速度とコストです。テスト段階でも超長文の処理にはそれなりのレイテンシが発生しており、正式提供後に100万トークンをフル活用した場合のAPI利用料がどれほど跳ね上がるかは注視する必要があります。

それでも、検索エンジンの巨人であるGoogleが、コンテキスト長の限界を力技で突破して見せた意義は大きく、先行するOpenAIに対する強烈な牽制球になったと言えます。