Rekaが「Rho-1」発表：言語・映像・ロボット動作を単一モデルに統合

海辺の灯台の画像を生成し、その灯台を枠線で指定して滑らかなカメラワークの動画にし、さらに天候を吹雪に変えさせ、最後に2つの動画の細かな差分を説明させる。これまでなら、4つか5つの特化型AIを連携させる複雑なパイプラインが必要でした。

各モデル間でデータを受け渡すたびに遅延が積み重なり、前後の文脈が抜け落ちて破綻することも珍しくありません。

元DeepMindの研究者らが立ち上げたAIスタートアップのRekaは、こうした分断されたアーキテクチャを単一のニューラルネットワークへと統合する19Bの全モダリティ推論モデル「Rho-1」の研究プレビューを公開しました。

推論と生成を単一のコンテキストに統合

Rho-1の最大の特徴は、テキスト、画像、動画、さらにはロボットの物理アクションまでも同じコンテキスト内で対称的に扱う点にあります。

モデル内部の各Transformerブロックは、テキスト推論や解析を行う理解ストリームと、Flow Matchingによって画像をノイズ除去・生成する生成ストリームに分かれています。

この2つのストリームは完全に独立しているのではなく、同一のKVキャッシュとアテンション空間を共有しています。

そのため、一度灯台の画像を生成すると、その潜在状態がそのままコンテキストとして保持されます。次のターンで動画化や天候変更を指示しても、画像を再エンコードすることなく、同一の記憶を保ったままシームレスに処理が進みます。

生成速度も極めて高速です。ベースモデルでも実時間の約0.79倍で動画をストリーミングでき、約6秒で視聴可能な映像が始まります。デノイズ工程を99ステップから8ステップに圧縮した蒸留版では、5.3秒の動画クリップを約1秒で出力でき、動画編集の往復遅延を大幅に削減しています。

さらに、ロボットの関節制御データもネイティブな連続トークンとして扱うため、将来の物理的な映像を予測しながらロボットアームの軌道を同時に出力することも可能です。

一方で現時点の限界も公表されています。動画解像度は672×384にとどまり、30秒を超える長時間のシミュレーションでは画質は保たれても空間構造が崩れる現象が見られます。

なぜ重要か

Rho-1が示した最大の成果は、全モダリティのネイティブ統合モデルが、驚くほど小さなリソースで成立することを実証した点にあります。

この19Bモデルは、わずか320基のH100 GPUを使い、3か月という小規模な予算でゼロから事前学習されています。何万基もの巨大クラスタで開発されるフロンティアモデルと比べれば、極めて限られた計算資源です。

ロボティクスや対話型シミュレーションを開発するエンジニアにとって、テキストから物理制御、リアルタイム映像生成までが単一の文脈でつながる世界モデルは、長年の理想でした。外部ツールを無理につなぎ合わせることなく、リアルタイムに対話しながら世界を書き換えられる体験は今すぐ注目に値します。

業界全体で見れば、LLMを司令塔にして各種ツールを呼び出すエージェント型アプローチに対し、根本的なアーキテクチャ刷新を迫るものと言えます。

私たちは、理解と生成を別々のモデルに押し込めるアプローチはいずれ遅延と情報損失の壁にぶつかると考えています。Rho-1のように単一表現空間で物理ダイナミクスと推論を循環させる構造こそが、物理世界を真に理解するAGIへの確実な足がかりになるはずです。