跳到正文
IFAI

大模型

Runway 釋出 Solaris:不寫前端程式碼,直接逐幀即時渲染互動應用

首次發布 傳播指數 55

Runway 釋出介面世界模型 Solaris。它基於 Gen-4.5 影片模型打造,徹底拋棄傳統程式碼中間層,在使用者點選或拖拽時逐幀即時生成互動介面。該系統不僅能維持 720p 的高保真視覺效果,還能生成動態介面供 AI 智慧體訓練複雜操作。

Runway 釋出 Solaris:不寫前端程式碼,直接逐幀即時渲染互動應用
圖:runway.com

想像一下開啟一個網頁,背後沒有一行 HTML、CSS 或 JavaScript 程式碼。你看到的每一個按鈕、每一張圖片,甚至是光影反射,都是 AI 像生成影片一樣,在你點選的瞬間一幀一幀即時算出來的。

這就是 Runway 剛剛公佈的 Solaris。他們把這種新架構叫做「介面世界模型」(Interface World Model),並已經開放了早期訪問測試。

給軟體拔掉程式碼這根網線

自打作業系統誕生以來,所有軟體都有一個固定邏輯:設計師畫好視覺圖,工程師把它翻譯成程式碼,最後由系統按程式碼渲染。這個過程被稱為「中間表示層」。

Runway 覺得這個轉化層天然是損耗性的。程式碼不僅限制了畫面的視覺豐富度,還把所有互動都卡死在開發者預先寫好的邏輯裡。一旦沒有寫對應的邏輯,你點了螢幕就毫無反應。

Solaris 的做法是直接幹掉程式碼層。它基於 Runway 的 Gen-4.5 影片模型,把每一次滑鼠點選、拖拽都直接當成生成下一幀畫面的條件訊號。

為了讓它跟上人的操作節奏,Runway 把多步去噪過程進行了蒸餾,讓畫面以自迴歸方式逐幀輸出,勉強卡在半秒的互動延遲門檻之內,解析度保持在 720p。

整套系統由語言模型和世界模型分工合作。大語言模型負責理解使用者的意圖,決定場景下一步該發生什麼變化,再把指令傳給影片世界模型,由後者即時渲染出具體的視覺畫面。

在演示中,使用者可以在虛擬服裝店裡,把衣架上的襯衫直接拖到自己的照片上試穿,或者把各種配料拖進碗裡實時拌一份沙拉。介面的互動規則不再依賴預設選單,而是直接依靠物理世界般的常識運作。

依然會產生幻覺的動態畫素

這種純視覺介面的另一個野心,是幫 AI Agent 補課。現在的各類大模型在訂酒店、買菜這些電腦操作上經常翻車,核心原因就是它們死記了特定的網頁程式碼結構,稍微換個排版就不會了。而在 Solaris 這種隨時變動的生成式介面裡,Agent 可以在無窮無盡的動態場景中摸爬滾打。

在 Runway 自家的對比測試中,面對 Claude Opus 5 編寫的程式碼網頁,測試者在 71% 的場景互動行為和 61% 的指令遵循測試中,把票投給了 Solaris。

但這套體系離真正日常可用還差得遠。Runway 自己也承認,目前的 Solaris 面臨著明顯的文字易讀性差、會話時間一長畫面就會漂移失真,以及偶爾會生成一張看起來極其逼真但邏輯完全錯誤的假介面等硬傷。

為什麼重要

我們認為,Runway 這一步走得極其大膽,它本質上是在嘗試顛覆現代軟體的底層基石。如果互動介面的生成成本未來真能降到比傳輸靜態網頁還低,傳統的前端開發邏輯可能會被徹底改寫。

對普通使用者來說,你現在完全沒必要把它當成日常工具,早期訪問更像是一個高技術含量的遊樂場。但對電商、遊戲和創意展示類的團隊而言,這種「拖拽即互動」的體驗非常值得保持關注,它打破了傳統漏斗式表單的互動疲勞。

它的聰明之處在於繞開了程式碼生成的死板語法,把介面的上限交給了世界模型的常識理解力;但隱患也恰恰在此。軟體之所以依賴確定性的程式碼,就是為了保證點下「確認轉賬」時不會發生意外。當一切都變成即時的影片推流,計算成本、網路頻寬以及幻覺帶來的不可控錯誤,都是它變成實用工具前必須跨過的大山。

來源 (1)

  1. [1]
    runway.com(在新分頁開啟)原文runway.com

每日 AI 內容精選