Memories.aiがMemories Uploadを発表：日常の一人称動画をロボットの学習データに変換

ロボットに料理や棚卸しを教えようとするとき、最大の壁になるのはアルゴリズムではなく、学習に使える現実世界のデータが圧倒的に足りないことです。エンジニアが遠隔操作装置を装着してアームを1回ずつ動かす手法では、量も多様性も追いつきません。

元Metaの研究者であるShawn Shen氏とBen Zhou氏が立ち上げたサンフランシスコのスタートアップMemories.aiは、人間が普段こなしている仕事そのものを教材にするアプローチを選びました。同社は一人称視点の作業映像をロボット学習データへと変換する基盤プラットフォーム「Memories Upload」を発表しました。

世界中のギグワーカーが日常作業を撮影してお金を稼ぎ、ロボット開発企業はその映像を自社モデルの学習用に買い取る仕組みです。

手首に磁石でつく45グラムの超軽量カメラ

現場で働く人に一日中カメラをつけてもらうには、作業の邪魔にならない軽さが欠かせません。Memories.aiが独自開発した装着型カメラ「LUCI Pin」は重さ45グラム未満で、頭部や胸部、手首のマウントに磁力でワンタッチ装着できます。

特に重要なのが手首への装着です。頭部につけたカメラでは、指先がカップをつかむ瞬間が手の甲で隠れて見えないことがよくあります。手首にカメラを置くことで、指がどの角度から物体に触れ、どう力を加えているかを正確に記録できます。カメラを2台組み合わせればステレオ撮影による深度情報の取得も可能です。

ベータ版の初月だけで収集された一人称動画は100万時間を超えており、2027年3月までに1000万時間以上の収集を目指しています。すでに5大陸、20業種、1000種類以上の作業データが集まっています。

人間の日常作業をフレーム単位で検索可能にする

ただ動画を大量に集めても、ロボット開発者がすべて目視で確認することはできません。そこでMemories.aiはNVIDIAと連携し、物理世界理解モデルCosmosや動画検索ツールMetropolisを活用して映像をデータベース化しました。

映像中の左右の手の動きをフレーム単位で追跡し、関節ごとの3D動作姿勢や自然言語の行動ラベルを自動付与します。開発者は長時間の動画を見続けることなく、「左手でコップを持ち、右手でつまみを回す」といった特定のアクションを指定してピンポイントで抽出できます。データはAPIやMCPサーバー経由で提供されます。

これまでに1600万ドルの資金を調達した同社によると、すでに世界トップ5に数えられる最先端ロボット開発拠点のうち3社がこの学習データを採用しています。

なぜ重要か

これまでロボット向けデータの収集といえば、高価な遠隔操作リグを使うか、現実とギャップのあるシミュレータに頼るのが主流でした。前者はコストが高すぎてスケールせず、後者は現実世界の複雑さを再現しきれません。

Memories Uploadの巧みな点は、軽量な専用ハードウェアとギグワークを組み合わせることで、人間が日常的に発揮している熟練の動作スキルを安価かつ大規模に吸い上げる仕組みを作ったことです。新興ロボット企業にとっては、自前で膨大な走行実験をしなくても、API経由で多様な現場の動作データを入手できる利点があります。

一方で課題となるのは、人間の手とロボットの機構の違いをどう埋めるかという身体性の翻訳問題です。人間の関節の柔軟な動きを、構造が異なる金属製ハンドでどう再現するかは依然として開発者側の技術に委ねられています。

それでもFigureやPhysical Intelligenceなど有力プレイヤーが一様に人間の実専動画の活用を急ぐなか、フィジカルAIの勝負どころはインターネット規模の実世界データ基盤へと完全に移りつつあります。その供給網をいち早くビジネス化したMemories.aiの存在感は今後さらに高まりそうです。