Reka 釋出 Rho-1：單模型融合多模態推理與動作控制

想讓 AI 生成一張海邊燈塔的圖片，再圈出燈塔平滑運鏡生成影片，接著把天氣改成暴風雪，最後問它兩段影片到底有什麼不同。

按現在的做法，你得在中央大模型、影像生成器、目標檢測模型、影片擴散模型和多模態理解模型之間來回倒手。每一次中轉都要重新傳圖、重新寫 prompt，不僅延遲拉長到十幾秒，各環節還經常因為上下文割裂而理解翻車。

由多位 DeepMind 前成員創辦的 AI 初創公司 Reka，剛剛釋出了一個名為 Rho-1 的 19B 全模態推理研究預覽版。他們試圖從底層拆掉這套縫合怪架構，把文本理解、畫面生成與機器人控制完全塞進同一個神經網路裡。

把拼裝流水線打平進同一個模型

Rho-1 最大的變化在於輸入輸出的完全對稱。在過去的體系裡，多模態理解模型通常只吃影像吐文字，影片模型只吃提示詞吐畫素，兩者根本沒法無縫對話。

Rho-1 在底層把所有訊號歸為兩類。一類是負責文本、符號推理和高層指令的離散 token，另一類是編碼影像潛變數、影片幀與機器人動作的連續 token。

在每一個 Transformer 塊內部，模型分出負責解析的理解流與負責去噪渲染的生成流。這兩個流並不是各跑各的，而是共享同一個注意力空間與 KV 快取。

這意味著模型生成的一切內容都能直接當作上下文回傳。當你在對話中要求它改寫天氣時，它不需要把上一段影片抽幀後重新餵給另一個視覺模型，而是直接讀取生成上一段影片時的潛變數狀態，零延遲完成交接。

在生成速度上，基礎版 Rho-1 生成影片的速度達到即時的 0.79 倍，約 6 秒就能給出第一段可用畫面。通過把去噪步數從 99 步壓縮到 8 步的蒸餾版本，生成一段 5.3 秒的影片片段只要 1 秒左右，端到端影片修改耗時直接壓到了 1.15 秒。

更進一步，Rho-1 還能把物理動作當作連續 token 一起輸出。模型在預測下一幀畫面的同時，就能直接計算機械臂各關節的執行軌跡，甚至能配合逆動力學模型把海量網路無標註影片轉化成機器人動作訓練資料。

不過 Reka 也坦白指出了模型的硬傷。比如原生影片解析度目前僅有 672×384；在超過 30 秒的連續推演中會出現結構漂移，畫面質感雖然還在，但房間佈局可能會徹底亂套；針對影片畫面的跨時間目標追蹤與區域性編輯也還不夠穩定。

為什麼重要

Rho-1 最值得關注的並不是它當前的效果有多驚豔，而是它證明了全模態原生統一架構不僅走得通，而且極具成本效率。

整個 19B 引數的模型，是 Reka 僅用 320 張 H100 訓練 3 個月從零訓出來的。對比動輒數萬張顯示卡訓出來的行業前沿大模型，這個算力規模可以說小得驚人。這說明打破理解與生成的隔離並不一定需要堆砌天文數字般的算力。

對開發者和創作者來說，它描繪了一種完全不同的互動形態。你不再是面對一個單次問答的工具，而是在操控一個具備時空連續記憶的互動世界。如果你正在開發需要即時反饋的互動式場景，或者在為具身智慧機器人搭建模擬世界，這種無需反覆對齊上下文的原生模型值得立刻保持跟蹤。

在行業層面，主流技術路線此前更偏向讓大語言模型充當 Agent 控制中心，外掛各類小工具或專用擴散模型。我們認為，Rho-1 的實驗直接向這種拼裝派提出了挑戰。

拼裝路線看似分工明確，但資訊在多次量化和編碼中嚴重損耗，延遲更是死穴。Rho-1 證明了讓推理、視覺與動作共享表徵空間，不僅能消除延遲，甚至文本推理能力的提升還能反哺影片物理規律的連貫性。

它的隱患在於全模態聯合訓練對訓練穩定性和架構設計的要求極高，而且 19B 的體量限制了它的上限。但它看起來撕開了一條通往物理世界通識智慧的新路。