562Bの身体性マルチモーダルモデル「PaLM-E」発表、ロボットに視覚と思考を直結

大規模言語モデルにカメラとロボットアームを取り付けたら、人間の言葉を理解して部屋を片付けられるようになるのか。

Google の研究チームは、現実世界のセンサー情報を直接言語モデルに取り込む具身型マルチモーダルモデル「PaLM-E」を発表しました。

センサー情報を単語と同じように処理する

従来のロボット制御では、カメラの映像を一度テキストラベルに変換してから言語モデルに渡すアプローチが主流でした。しかしこのやり方では、物体の正確な位置関係が抜け落ちたり、未知の物体に対応できなかったりする欠点がありました。

PaLM-E はこの構造を根本から変えています。カメラ画像やロボットの関節状態といった連続的なセンサーデータをエンコーダで変換し、単語トークンと同じ次元のベクトルとして言語モデルの埋め込み空間へ直接流し込みます。

画像とテキストが混ざり合った「マルチモーダル文」を入力として受け取り、自己回帰的にテキスト形式の指示や回答を出力します。最大規模の「PaLM-E-562B」は、5400 億パラメータの PaLM と 220 億パラメータの画像認識モデル ViT-22B を組み合わせた巨大なモデルです。

このモデルは画像応答のベンチマークである OK-VQA で当時の最高精度を記録しながら、コード生成や数学の計算といった純粋な言語能力もそのまま維持しています。

見たことのないオモチャのカメを認識して作業

現実のロボットを使った実験では、驚くべき汎用性が確認されました。

「引き出しからお菓子を持ってきて」という長い指示を与えると、移動型ロボットは引き出しを見つけて開け、中身を確認して目的の袋をつかみ、手元まで届けるという一連の動作を、カメラ映像を見ながら自律的に計画して実行しました。

さらに際立っていたのが未学習データへの対応力です。卓上アームに「緑のブロックをカメのところへ押して」と指示したところ、訓練データに一度も登場したことがないオモチャのカメの位置を正確に認識して作業を完了させました。

ロボットが物理空間で収集できるデータ量は、インターネット上のテキストや画像と比べて圧倒的に不足しています。PaLM-E は、Web の膨大なデータで培った知識がロボットの動作学習へ効果的に転移することを示しました。

なぜ重要か

具身知能（Embodied AI）の開発において、最大の壁は常にデータ収集コストでした。現実世界でロボットを動かして動作ログを集める作業は、Web スクレイピングとは比較にならないほど時間がかかります。インターネット規模の画像とテキスト知識をそのままロボットの脳みそに流し込む PaLM-E の設計は、極めて合理的です。

ロボット開発者にとって、これは特定タスクごとに小さなモデルを個別開発する時代からの脱却を意味します。ひとつの基盤モデルが高レベルなタスク計画を担当し、状況に応じた柔軟な指示を下位のモーター制御に送るというアーキテクチャの有効性が証明されました。

ただし、課題も明白だと私たちは考えます。5620 億パラメータという巨大なモデルはロボット本体のエッジチップでは到底動作せず、クラウド経由の推論が必須になります。通信や計算に伴う遅延があるため、工場の高速なラインや瞬時の判断が求められる動的な環境にそのまま持ち込むのは困難です。

それでも、言語モデルがチャット画面を飛び出し、視覚を通じて現実世界と物理的につながり始めた意義は大きく、ロボティクスの未来を大きく引き寄せる一歩です。