プリンストン大がATLA発表：GPT-3の言葉でロボットの道具操作を高速化

子どもに道具の使い方を教えるとき、無言で道具を手渡して勝手に学ばせる親はいません。「柄の端を握って、重い頭で叩くんだよ」と、言葉でその形状や目的を説明するはずです。

しかし、これまでのロボット学習はまさにその「無言の試行錯誤」でした。カメラとセンサーのデータだけを頼りに、何千回も腕を動かして物理特性を力技で推測させていたのです。

プリンストン大学の研究チームは新たな手法「ATLA（Accelerated Learning of Tool Manipulation with LAnguage）」を発表しました。大規模言語モデル「GPT-3」が生成した言葉の説明をロボットアームの学習に組み込むことで、道具操作の習得速度が劇的に上がることが実証されました。

GPT-3を「道具の取扱説明書」にする

研究チームは道具の説明文を手作業で書く代わりに、OpenAIのGPT-3を活用しました。プロンプトを使って各ツールの形状や用途を科学的かつ詳細に出力させ、それをロボットの学習データとして与えたのです。

シミュレーション環境での訓練には、斧から水切りワイパーまで、形状の異なる27種類の道具が用意されました。

ロボットアームに課されたタスクは「押す」「持ち上げる」「円柱をテーブル上で掃くように移動させる」「釘を穴に打ち込む」の4種類です。

この研究の肝はメタ学習にあります。アームは個別の動作だけでなく、テキスト説明と物理操作の対応関係そのものを学習します。論文共著者のKarthik Narasimhan准教授が「道具の使い方を教えると同時に、英語も教えている」と語る通り、未知の101個目の道具に出会った際、その説明文を読むだけで即座に適応できるようになる仕組みです。

バールのどこを握るべきか、AIは言葉で理解した

訓練後に未学習の9種類の道具でテストしたところ、言語情報を取り入れたロボットは、視覚情報だけで学習したロボットを明らかに上回る適応速度を見せました。

筆頭著者のAllen Z. Ren氏が挙げた分かりやすい例が、バールを使ってボトルのような円柱をテーブル上で掃き出すタスクです。

言語学習のないロボットは、バールの曲がった先端付近を無造作に掴んでしまい、制御を失ってボトルをうまくコントロールできませんでした。

一方、言葉で形状と用途を教えられたロボットは、長い柄の末端をしっかりと握り、先端の湾曲面を使ってボトルを囲い込むように安定して誘導しました。

なぜ重要か

この研究が重要なのは、ロボット工学最大の難問である「未知の環境への汎用性」に対し、極めてスマートな近道を示したからです。

現実世界に存在する無数の道具をすべて実機や3Dスキャンで学習させるのは現実的ではありません。しかし人類は、道具の形状や力学的な知恵をすでにテキストとして大量に記録しています。プリンストン大の試みは、ネット上のテキストを網羅したLLMを「物理世界の常識データベース」としてロボットの身体性に橋渡しできることを証明しました。

巨大な言語モデルにモーターを直接ミリ秒単位で動かさせるのではなく、上位の概念理解として使う切り分け方は非常に合理的です。

もちろん、今回の実験はシミュレーション環境内にとどまっており、現実世界の摩擦やセンサーのノイズにそのまま耐えられるかという課題は残ります。それでも、身体性AIを進化させる鍵は膨大な物理演算だけでなく、人間が日常的に使っている「言葉」にあることを明確に示した一歩だと言えます。