HumanXがオープンソース化：人間動画から人型ロボットがバスケのシュートを習得

HumanXは、人間の単眼動画から人型ロボットのインタラクションスキルを生成し学習させるオープンソースのフルスタックフレームワークです。高価なモーションキャプチャ設備を使わずに、通常の撮影動画から人型ロボットの動作ポリシーを学習できます。

できること

公開されたリポジトリには、シミュレーション環境で動作する複数のインタラクションスキルとサンプルデータが含まれています。

Unitree G1ロボットを用いて、バスケットボールのパスキャッチからシュート、フェイクシュート、サッカーのキック、ビンからの物体ピックアンドプレースなどが再現されています。

既存のデモだけでなく、自前で撮影した動画から新しいスキルを学習させるパイプラインも備えています。人間と物体の接触動作を抽出し、ロボットが実行可能なポリシーへと変換できます。

仕組みとパイプライン

HumanXは動作編集を担うXGenと、シミュレーション学習を担うXMimicという2つのコンポーネントで構成されています。

処理はまずGVHMRから始まります。単眼動画から現実空間に接地した人間の動きを復元します。

次にUMRを用いて、復元した動きをUnitree G1の骨格構造へとリターゲティングします。

続いてXGenが物理的に妥当な人間と物体のインタラクション動作を編集および合成し、.npzファイルとして書き出します。

最後にXMimicがデータを.pkl形式に変換し、humanoidverseと呼ばれるシミュレーション環境で模倣学習ポリシーを訓練・評価します。

導入と利用方法

コードとデータはGitHub上で公開されており、xgenディレクトリとxmimicディレクトリに分かれて提供されています。

ライセンスはCommons-Clauseが付与されたApache-2.0です。

開発者はリポジトリを取得後、XGenエディタで動作を確認・合成できるほか、XMimicの手順に従ってポリシーの訓練やシミュレーション内での可視化を試すことができます。

なぜ重要か

ロボットにバスケットボールのような動的な球技を教えるには、従来は高精度な動捕スタジオや緻密な軌道設計が不可欠でした。HumanXは身近な2D動画から物理ポリシーを直接引き出せる道筋を示し、データ収集のコストを大きく引き下げました。

ただし、現段階で検証されているのはシミュレーション環境内に限られます。身体知能や強化学習を研究する開発者にとっては今すぐ試す価値がある一方、実機ハードウェアへの適用や商用利用時のライセンス条項には注意が必要です。