清華大とバークレーが uni-robot-agent を公開：オープンモデルでロボット制御、Astra 超え

uni-robot-agent は、オープンソースの大規模言語モデルに標準的な制御インターフェースを被せ、シミュレータや実機のロボットを直接操作できるようにするオープンソースのフレームワークです。

これまでロボット向けエージェントの研究は、GPT-6 Astra のような商用クローズドモデルに大きく依存していました。しかし、ロボットの試行錯誤には大量の API 呼び出しが必要でコストが嵩む上、重みが非公開なため現場で得た操作ログを直接モデルの追加学習にフィードバックできないという壁がありました。

どのようにモデルを物理環境と接続するか

清華大学と UC バークレーの研究チームは、新たなモデルを一から蒸留するのではなく、モデルとロボットの橋渡しとなるハーネスの標準化に注力しました。

システムはランタイム、コンテキスト管理、知覚、動作ツールなどがモジュール単位で独立しており、シミュレータと実機で同じツール定義を共有します。また、シミュレータの正確な深度情報や CAD データをモデルに渡すといった「近道」を一切排除し、カメラの RGB 画像、外部・内部パラメータ、ロボットの本体記述、指示テキストのみに情報を絞り込んでいます。

さらに、ロボットが物理的に動いている間にモデルが次の手を計算する非同期パイプライン処理を導入し、無駄な待機時間を削っています。

ローカルの Qwen が商用ベースラインを上回る

このハーネスを組み合わせることで、オープンモデルの実用性が一気に跳ね上がりました。

42 種類のタスクを含む RoboDojo ベンチマークにおいて、ローカルで動作する Qwen3.8-Flash-Next は 31.39 スコアを記録し、RoboProbe を用いた GPT-6 Astra のベースライン（28.97）を上回りました。DeepSeek-V4.1-Flash も 27.11 を記録しています。コスト面では 1 タスクあたり約 1 セントと、商用モデルの 20 分の 1 程度に収まります。

双腕グリッパーを用いた 19 種類の実機卓上タスクでも、実機データを一切学習していない Qwen が 53.50 点を獲得し、ゼロショットの Dream-1 や環境特化でファインチューニングされた π0.5（47.75 点）を超えました。すでに Franka アームや Sharpa 多指ハンドへの適用も確認されています。

コードとドキュメントは GitHub（Open-RUA/uni-robot-agent）で公開されています。

なぜ重要か

具身知能（Embodied AI）やロボット制御を研究している開発者にとって、すぐに試す価値のあるフレームワークです。商用 API の課金メーターを気にすることなく、手元のハードウェアで軽量なオープンモデルを動かし、収集した行動軌跡をそのまま自前学習ループに組み込める環境が整いました。

一方で課題もあります。カメラのキャリブレーション情報を外すと空間認識スコアが急落するなど、純粋な画像情報からの幾何学的推論はまだモデル単体の弱点として残っています。極めて精密な把持や長期にわたるタスク計画には依然として限界がありますが、高価なブラックボックス依存から脱却するための基盤として非常に堅実な一歩です。