Generalist AIが「GEN-1.5」発表：数秒の実演を見るだけで新タスクを即座に学習

ロボットのアームに新しい作業を教えるのは、これまで骨の折れる作業でした。長時間の動作プログラミングを行うか、何百回もの遠隔操作データを集めてモデルを微調整するのが常識だったからです。

その前提を覆す成果が登場しました。8月19日、ロボティクススタートアップのGeneralist AIが新世代の基盤モデル「GEN-1.5」を発表しました。

最大の特徴は、勾配更新やパラメータ微調整を一切行わずに新タスクを習得できる点です。わずか3〜12秒の実演データをコンテキストに読み込ませるだけで、ロボットがその場で真似をし始めます。

同社はこれを「物理プロンプト」と呼んでいます。ポーチのジッパーを開ける、瓶のフタを回す、財布から紙幣を取り出すといった10種類の作業で検証したところ、一回見せるだけで平均59%の成功率を記録しました。

GPT-3の衝撃がロボットにも到来

言語モデルの世界でGPT-3がコンテキスト内学習で世界を驚かせたのと、まったく同じ現象がハードウェアの世界で起きています。

GEN-1.5はカメラ映像や関節の自己受容感覚、言語入力を処理し、毎秒100回（100 Hz）の頻度で動作軌道を出力するマルチモーダル基盤モデルです。30秒のコンテキストウィンドウの冒頭に実演データを置き、残りの枠でリアルタイムの状況を捉えます。

開発陣によると、インコンテキスト学習用の特殊なネットワーク構造やメタ学習は一切使っていません。家庭や倉庫、工場での物理データを8か月間継続して事前学習させた結果、この能力が自然と創発したといいます。

さらに応用的な挙動も確認されています。別々に記録された2つの動作を見せると、ロボットが位置の調整や持ち替えといった中間動作を自分で補完し、一連の連続した動作として繋げてみせました。

シミュレータ上で記録した動作を物理プロンプトとして実機に与えることも可能です。事前学習にシミュレーションデータを一切含んでいないにもかかわらず、現実空間での再現に成功しています。なお、5分間（約50回分）のデータで10ステップの微調整を行えば、成功率は83%まで跳ね上がります。

なぜ重要か

ロボットの実用化を阻んできた最大の壁は、現場ごとに発生する膨大な追加学習コストでした。

GEN-1.5は、物理世界の事前学習データを大規模にスケールさせれば、ロボットもテキストのプロンプト入力のように動作を即座に模倣できることを証明しました。「物理プロンプトエンジニアリング」という新しい概念は、将来のロボット制御のあり方を根本から変える可能性があります。

とはいえ、ワンショットで59%という成功率は、実用環境ではまだまだ頼りない数字です。失敗した時に瓶を落として割ったり物を壊したりするリスクがある以上、そのまま現場へ投入することはできません。現時点のタスクも短時間で単純なものに限られています。

私たちは、追加学習なしに数秒の手本だけで動かせるアプローチ自体は極めて筋が良いと考えています。開発者が手軽にプロトタイプを検証するツールとしては画期的ですが、工場や家庭で人間が完全に手を離せる段階に至るには、もう一段の精度向上が必要になりそうです。