NVIDIAの「Eureka」、GPT-4でロボットにペン回しを習得させる

ロボットハンドにペン回しを習得させることが、どれほど困難か想像できるでしょうか。強化学習における最大の壁は、実は計算能力ではなく「報酬関数の設計」にあります。指をどう曲げ、どのタイミングで力を抜くべきかを人間が数式コードで教え込もうとすると、膨大な試行錯誤が必要になります。

NVIDIA Researchはこの課題を解決する新AIエージェント「Eureka」を発表しました。GPT-4を活用し、ロボット訓練用の報酬アルゴリズムを自律的にプログラミングするシステムです。

Eurekaの指導により、多指ロボットハンドは初めて人間と同等レベルの滑らかな高速ペン回しを成功させました。

GPT-4が自ら報酬コードを書き、自己改善する

過去10年間で強化学習は大きく進歩しましたが、何をもって成功とするかを定義する報酬設計は、依然として職人技のような手作業に依存していました。

Eurekaはこの常識を変えます。タスク固有の指示文や既存のテンプレートを用意しなくても、GPT-4が自ら報酬コードの候補を生成します。

生成された報酬プログラムは、NVIDIA Omniverseを基盤とする物理シミュレータ「Isaac Gym」に送られ、GPUによる超並列シミュレーションで高速に評価されます。

Eurekaは訓練結果から重要な統計データを要約し、それをGPT-4にフィードバックしてコードを反復修正させます。この閉ループにより、AIが自律的に訓練アルゴリズムを改善していく仕組みです。もちろん、人間のフィードバックを取り込んで微調整することも可能です。

専門家が書いたコードの80%以上に勝利

論文によると、Eurekaが作成した報酬プログラムは、人間エキスパートが手書きしたコードに対し、80%以上のタスクで上回る性能を示しました。

これにより、ロボットの動作性能は平均して50%以上向上しています。

ペン回しだけでなく、Eurekaは引き出しや扉の開閉、ボールのトスとキャッチ、ハサミの操作など、約30種類の高難度タスクをロボットに習得させました。論文では20の器用さベンチマーク環境で詳細な検証が行われています。

対象はロボットハンドにとどまらず、二足歩行ロボットの走行動作、四足歩行、クアッドローターの制御、協働ロボットアームにまで及びます。過去にマインクラフト自律プレイAI「Voyager」を手掛けたNVIDIAの研究員ジム・ファン氏は、ロボット制御だけでなくリアルな物理アニメーション制作にも役立つと述べています。論文とアルゴリズムはすでにオープンソースとして公開されています。

なぜ重要か

私たちは、Eurekaが採ったアーキテクチャの役割分担が極めて巧みであると考えています。

LLMにロボットのモーター出力を直接リアルタイム制御させるのではなく、上位の「報酬アルゴリズムの設計者」として配置した点が合理的です。LLMの持つ常識推論とコーディング能力を活かし、泥臭い物理試行錯誤はGPUシミュレータに丸投げするという切り分けが見事です。

ロボット開発者にとって、これまで最も骨の折れる作業だった報酬チューニングが一気に自動化される価値は計り知れません。器用なマニピュレーションを研究しているチームなら、今すぐ試す価値があります。

ただし、課題がないわけではありません。シミュレーション環境と現実世界の摩擦やセンサー遅延の差を埋める「Sim-to-Real」の壁は依然として残っています。Isaac Gym内で完璧にペンを回せても、現実のシリコン指先で同じことができるかは別問題です。

それでも、OmniverseとIsaac Gymという自社エコシステムを組み合わせ、自社GPUの優位性を存分に見せつけるアプローチは、NVIDIAのプラットフォーム戦略の強さを改めて印象づけています。