跳到正文
IFAI

大模型

Runway 发布 Solaris:不写前端代码,直接逐帧实时渲染交互应用

首次发布 传播指数 55

Runway 发布界面世界模型 Solaris。它基于 Gen-4.5 视频模型打造,彻底抛弃传统代码中间层,在用户点击或拖拽时逐帧实时生成交互界面。该系统不仅能维持 720p 的高保真视觉效果,还能生成动态界面供 AI 智能体训练复杂操作。

Runway 发布 Solaris:不写前端代码,直接逐帧实时渲染交互应用
图:runway.com

想象一下打开一个网页,背后没有一行 HTML、CSS 或 JavaScript 代码。你看到的每一个按钮、每一张图片,甚至是光影反射,都是 AI 像生成视频一样,在你点击的瞬间一帧一帧实时算出来的。

这就是 Runway 刚刚公布的 Solaris。他们把这种新架构叫做「界面世界模型」(Interface World Model),并已经开放了早期访问测试。

给软件拔掉代码这根网线

自打操作系统诞生以来,所有软件都有一个固定逻辑:设计师画好视觉图,工程师把它翻译成代码,最后由系统按代码渲染。这个过程被称为「中间表示层」。

Runway 觉得这个转化层天然是损耗性的。代码不仅限制了画面的视觉丰富度,还把所有交互都卡死在开发者预先写好的逻辑里。一旦没有写对应的逻辑,你点了屏幕就毫无反应。

Solaris 的做法是直接干掉代码层。它基于 Runway 的 Gen-4.5 视频模型,把每一次鼠标点击、拖拽都直接当成生成下一帧画面的条件信号。

为了让它跟上人的操作节奏,Runway 把多步去噪过程进行了蒸馏,让画面以自回归方式逐帧输出,勉强卡在半秒的交互延迟门槛之内,分辨率保持在 720p。

整套系统由语言模型和世界模型分工合作。大语言模型负责理解用户的意图,决定场景下一步该发生什么变化,再把指令传给视频世界模型,由后者实时渲染出具体的视觉画面。

在演示中,用户可以在虚拟服装店里,把衣架上的衬衫直接拖到自己的照片上试穿,或者把各种配料拖进碗里实时拌一份沙拉。界面的交互规则不再依赖预设菜单,而是直接依靠物理世界般的常识运作。

依然会产生幻觉的动态像素

这种纯视觉界面的另一个野心,是帮 AI Agent 补课。现在的各类大模型在订酒店、买菜这些电脑操作上经常翻车,核心原因就是它们死记了特定的网页代码结构,稍微换个排版就不会了。而在 Solaris 这种随时变动的生成式界面里,Agent 可以在无穷无尽的动态场景中摸爬滚打。

在 Runway 自家的对比测试中,面对 Claude Opus 5 编写的代码网页,测试者在 71% 的场景交互行为和 61% 的指令遵循测试中,把票投给了 Solaris。

但这套体系离真正日常可用还差得远。Runway 自己也承认,目前的 Solaris 面临着明显的文字易读性差、会话时间一长画面就会漂移失真,以及偶尔会生成一张看起来极其逼真但逻辑完全错误的假界面等硬伤。

为什么重要

我们认为,Runway 这一步走得极其大胆,它本质上是在尝试颠覆现代软件的底层基石。如果交互界面的生成成本未来真能降到比传输静态网页还低,传统的前端开发逻辑可能会被彻底改写。

对普通用户来说,你现在完全没必要把它当成日常工具,早期访问更像是一个高技术含量的游乐场。但对电商、游戏和创意展示类的团队而言,这种「拖拽即交互」的体验非常值得保持关注,它打破了传统漏斗式表单的交互疲劳。

它的聪明之处在于绕开了代码生成的死板语法,把界面的上限交给了世界模型的常识理解力;但隐患也恰恰在此。软件之所以依赖确定性的代码,就是为了保证点下「确认转账」时不会发生意外。当一切都变成实时的视频推流,计算成本、网络带宽以及幻觉带来的不可控错误,都是它变成实用工具前必须跨过的大山。

来源 (1)

  1. [1]
    runway.com(在新标签页打开)原文runway.com

每日 AI 内容精选