Googleの内部文書が流出：「我々にもOpenAIにも堀はない」

GoogleとOpenAIが覇権争いに明け暮れる中、Googleの内部研究者が書いたとされる文書が流出し、業界に大きな波紋を広げています。その結論は「我々に堀（競争優位）はなく、OpenAIにもない」という衝撃的なものでした。

5月4日にSemiAnalysisが公開したこの内部文書は、テック大手が互いを意識して消耗戦を繰り広げている間に、オープンソースコミュニティが背後から急速に追いつき、追い抜こうとしている実態を赤裸々に指摘しています。開発者のSimon Willison氏も、文書の真偽を問わず近年の大規模言語モデルに関する分析として極めて優れていると評価しました。

100ドルと1000万ドルの対決

文書が突きつける現実は極めて残酷です。オープンソース陣営は、Googleが1000万ドルと5400億パラメータを投じて苦戦している成果を、わずか100ドルと130億パラメータ、しかも数か月ではなく数週間で達成しつつあります。

現在ではPixel 6上で毎秒5トークンの基底モデルが動作し、夜の間に一般的なノートPCでパーソナルAIの微調整が完了します。マルチモーダル分野でも、ScienceQAの最新最高水準がわずか1時間で学習されました。

転換点は3月初旬、MetaのLLaMAの重みが外部に流出したことでした。指示チューニングもRLHFも施されていない生のモデルを手に入れたコミュニティは、わずか数日でAlpacaやVicuna 13-Bといった派生版を次々と生み出し、量子化やマルチモーダル対応を一気に進めました。

巨大モデル信仰の限界とLoRAの威力

なぜ大企業が遅れをとるのか。文書の著者は、モデルをゼロから巨大な規模で再学習するアプローチそのものが足かせになっていると分析します。

オープンソースの躍進を支えているのがLoRAと呼ばれる微調整技術です。更新行列を低ランクに分解することでコストを数千分の一に抑え、約100ドル、1日足らずで消費者向けハードウェア上で微調整が可能になります。

さらに強力なのは、LoRAなどの微調整が「積み重ね可能」である点です。ある人が指示追従を加え、別の人が推論やツール利用を重ねることで、モデル全体をゼロから学習し直すことなく進化を蓄積できます。これはかつて画像生成でStable DiffusionがDALL-Eを文化的に圧倒した構図と完全に一致します。

なぜ重要か

この流出文書は、大手テック企業が築いた閉鎖的なAIビジネスの急所を突いています。

個人開発者や一般ユーザーにとって、これは莫大なAPI費用や利用制限に縛られず、手元のPCやローカル環境で実用的なAIを動かせる時代の到来を意味します。100ドル規模のLoRAチューニングを組み合わせるだけで、特定の用途に特化した強力なモデルが手に入るため、いま独自のワークフローを試し始める価値は十分にあります。

業界全体にとっても、巨大な計算資源で力任せに殴り合う時代が終わりつつあることを示唆しています。機密保持を前提とした研究は、世界中の開発者が分散して進めるオープンな改善速度に勝てません。厳しい利用制限のかかった高額な商用モデルと、自由に使えて性能差がわずかなオープンモデルが並んだとき、ユーザーがどちらを選ぶかは明白です。巨大モデルの維持に固執する企業は、今後急速に戦略の転換を迫られると考えられます。