Googleが次世代LLM「PaLM 2」を発表：Bardに搭載、スマホ動作モデルも用意

大規模言語モデルの進化といえば、これまではパラメータ数の大きさを競うのが常でした。しかし、Googleの最新モデル「PaLM 2」はその潮目が変わったことを明確に示しています。

Googleは開発者会議「Google I/O」にて、次世代LLMであるPaLM 2を発表しました。刷新された会話型AI「Bard」の頭脳となるほか、同社が発表した多くの新機能の基盤として活用されます。開発者向けにはPaLM API、Firebase、Colabを通じてすでに提供が始まっています。

パラメータ競争からの脱却とファミリー展開

興味深いことに、GoogleはOpenAIと同様、PaLM 2の具体的なパラメータ数を公表していません。前世代のPaLM 1が5400億パラメータを売りにしていたのとは対照的です。

DeepMind担当バイスプレジデントのズービン・ガラマニ氏は、モデルは大きければ良いというものではなく、パラメータ数で能力を測る時代は終わったと説明しています。そのため、PaLM 2は単一の巨大モデルではなく、用途やサイズに応じた複数のモデルファミリーとして提供されます。

なお、技術的基盤としてはGoogle最新の機械学習フレームワークJAXと、TPU v4インフラを採用してトレーニングが行われました。

数学やコードの強化、そしてスマホ動作まで

能力面では、従来の言語モデルが苦手としていた論理的思考や数学、多言語対応の強化が目立ちます。100以上の言語に対応するほか、大量の科学論文や数式を学習しており、外部プラグインなしで数学パズルの解決や推論、作図までこなすとされています。

コーディング能力も大幅に引き上げられました。JavaScriptやPythonだけでなく、PrologやFortranといった言語を含む20種類のプログラミング言語を学習済みです。これをベースにしたコード補完・生成特化モデル「Codey」も同時に披露されました。

さらに注目を集めたのが、医療向けのMed-PaLM 2やセキュリティ向けのSec-PaLMと並んで紹介された、スマートフォン上で直接動作する超小型モデルの存在です。

Googleによると、このモバイル向けモデルは毎秒20トークンを処理できるといいます。テストに使用した端末や提供時期は明かされていませんが、プライバシーを重視するオフライン環境での実用化に向けた確かな一歩と言えます。

なぜ重要か

私たちは、Googleが「モデルの巨大さ」を競うレースを降り、より現実的な実用性とコスト効率に舵を切った点に大きな意義があると考えています。

開発者や企業にとって、あらゆるタスクに巨大モデルを呼び出すのはコストと遅延の両面で割に合いません。コーディング用のCodeyのように領域ごとに特化させ、さらにはオンデバイスで動くサイズまで揃えるアプローチは、実プロダクトへの組み込みやすさを大きく高めます。特に医療やセキュリティ、あるいは通信環境が不安定な現場向けのアプリを作っているなら、このモデル展開は大いに試す価値があります。

業界全体にとっても、OpenAIのGPTシリーズに対抗する上で極めて重要な布石です。後手に回っていたBardの性能底上げはもちろん、自社開発のTPU v4をフル活用することで、高価なNvidia製GPUに依存しがちな競合に対して推論コストで優位に立てる可能性があります。

ただし、課題も残されています。発表時点では事前テストの機会が限られており、ハルシネーション（幻覚）や例外処理の実力は未知数です。スマートフォンでの動作もデモ段階に近く、一般端末へ広く普及させるには、さらなる軽量化と最適化が求められることになります。