Reka 发布 Rho-1：单模型融合多模态推理与动作控制

想让 AI 生成一张海边灯塔的图片，再圈出灯塔平滑运镜生成视频，接着把天气改成暴风雪，最后问它两段视频到底有什么不同。

按现在的做法，你得在中央大模型、图像生成器、目标检测模型、视频扩散模型和多模态理解模型之间来回倒手。每一次中转都要重新传图、重新写 prompt，不仅延迟拉长到十几秒，各环节还经常因为上下文割裂而理解翻车。

由多位 DeepMind 前成员创办的 AI 初创公司 Reka，刚刚发布了一个名为 Rho-1 的 19B 全模态推理研究预览版。他们试图从底层拆掉这套缝合怪架构，把文本理解、画面生成与机器人控制完全塞进同一个神经网络里。

把拼装流水线打平进同一个模型

Rho-1 最大的变化在于输入输出的完全对称。在过去的体系里，多模态理解模型通常只吃图像吐文字，视频模型只吃提示词吐像素，两者根本没法无缝对话。

Rho-1 在底层把所有信号归为两类。一类是负责文本、符号推理和高层指令的离散 token，另一类是编码图像潜变量、视频帧与机器人动作的连续 token。

在每一个 Transformer 块内部，模型分出负责解析的理解流与负责去噪渲染的生成流。这两个流并不是各跑各的，而是共享同一个注意力空间与 KV 缓存。

这意味着模型生成的一切内容都能直接当作上下文回传。当你在对话中要求它改写天气时，它不需要把上一段视频抽帧后重新喂给另一个视觉模型，而是直接读取生成上一段视频时的潜变量状态，零延迟完成交接。

在生成速度上，基础版 Rho-1 生成视频的速度达到实时的 0.79 倍，约 6 秒就能给出第一段可用画面。通过把去噪步数从 99 步压缩到 8 步的蒸馏版本，生成一段 5.3 秒的视频片段只要 1 秒左右，端到端视频修改耗时直接压到了 1.15 秒。

更进一步，Rho-1 还能把物理动作当作连续 token 一起输出。模型在预测下一帧画面的同时，就能直接计算机械臂各关节的执行轨迹，甚至能配合逆动力学模型把海量网络无标注视频转化成机器人动作训练数据。

不过 Reka 也坦白指出了模型的硬伤。比如原生视频分辨率目前仅有 672×384；在超过 30 秒的连续推演中会出现结构漂移，画面质感虽然还在，但房间布局可能会彻底乱套；针对视频画面的跨时间目标追踪与局部编辑也还不够稳定。

为什么重要

Rho-1 最值得关注的并不是它当前的效果有多惊艳，而是它证明了全模态原生统一架构不仅走得通，而且极具成本效率。

整个 19B 参数的模型，是 Reka 仅用 320 张 H100 训练 3 个月从零训出来的。对比动辄数万张显卡训出来的行业前沿大模型，这个算力规模可以说小得惊人。这说明打破理解与生成的隔离并不一定需要堆砌天文数字般的算力。

对开发者和创作者来说，它描绘了一种完全不同的交互形态。你不再是面对一个单次问答的工具，而是在操控一个具备时空连续记忆的互动世界。如果你正在开发需要实时反馈的交互式场景，或者在为具身智能机器人搭建仿真世界，这种无需反复对齐上下文的原生模型值得立刻保持跟踪。

在行业层面，主流技术路线此前更偏向让大语言模型充当 Agent 控制中心，外挂各类小工具或专用扩散模型。我们认为，Rho-1 的实验直接向这种拼装派提出了挑战。

拼装路线看似分工明确，但信息在多次量化和编码中严重损耗，延迟更是死穴。Rho-1 证明了让推理、视觉与动作共享表征空间，不仅能消除延迟，甚至文本推理能力的提升还能反哺视频物理规律的连贯性。

它的隐患在于全模态联合训练对训练稳定性和架构设计的要求极高，而且 19B 的体量限制了它的上限。但它看起来撕开了一条通往物理世界通识智能的新路。