跳到正文
IFAI

開源專案

SolarWM:開源互動式世界模型,支援連續穩定執行一小時

首次發布 傳播指數 48

研究團隊開源互動式長程世界模型框架 SolarWM。它僅用 5 秒影片片段訓練,就能實現持續超一小時的即時互動生成且不崩壞。專案還徹底開源了 143 萬段影片、共 25 TB 的資料管線與訓練方案,並統一適配 Wan、Minimax H3 等多種基座模型。

SolarWM:開源互動式世界模型,支援連續穩定執行一小時
圖:junchao-cs.github.io

SolarWM 是一個能把常規影片生成模型變成即時互動世界的開源框架。最直觀的改變是,它能讓你在生成的虛擬空間裡連續探索一個小時以上,而且畫面和空間結構不會像以往模型那樣幾分鐘就崩潰。

它能做什麼

以往很多互動式世界模型最大的痛點就是「短命」。剛生成的幾分鐘還能正常響應指令,但隨著時間推移,誤差不斷累積,場景往往會迅速變形、甚至徹底崩壞。

SolarWM 專門解決這種長程一致性問題。它支援即時的互動式推斷,你可以一邊輸入控制指令,一邊看著畫面連貫演進,穩定執行達到分鐘級乃至小時級。

更實用的是,它不是繫結某個特定結構的單體模型,而是一套通用的適配框架。團隊用同一套方案支援了 4 種不同架構和引數規模的基座模型,包括 SolarWM-Wan-5B、SolarWM-Wan-14B、SolarWM-LTX-2.5 以及 Minimax H3。

在生成效率上,官方展示的 SolarWM-Wan-5B 因果學生模型僅需 4 步取樣就能完成推理,大幅降低了互動時的延遲壓力。

怎麼做到的與開源全家桶

讓人意外的是,這套長程模型並不是靠極長的長影片喂出來的。團隊僅僅使用了 5 秒鐘的短影片片段進行訓練,就讓模型學會了跨越更長時間尺度的推斷邏輯。

除了模型權重,這個專案最下血本的地方在於把整個資料底座全部端了出來。團隊公開了包含 143 萬段影片切片、總計 25 TB 的完整資料集。

伴隨資料集一起開放的,還有整套資料處理流水線。其中包括保持尺度一致的相機引數標註、細粒度資料過濾機制,以及多套具體的訓練方案。

目前該專案已經在專案主頁開放了所有資源的獲取入口。開發者可以直接下載 25 TB 的資料集用來跑自己的訓練任務,也可以直接獲取官方釋出的模型權重檔案進行部署。

為什麼重要

對於想要涉足世界模型的研究者和開發者來說,這個專案幾乎是一份現成的手冊。25 TB 的高質量相機運動資料和完整清洗指令碼,直接省去了數月的資料工程苦工。

更關鍵的是,它證明了無需昂貴的超長影片訓練,短片段加合理的資料與推斷設計同樣能托起一小時的長程推斷。這會顯著拉低互動式世界模型的技術門檻,加速遊戲原型生成和具身智慧模擬環境的搭建。

不過 25 TB 的體量對中小團隊的儲存和網路依然是不小的考驗,而且即時執行大型基座模型仍然需要相當強勁的算力支援。

來源 (1)

  1. [1]
    junchao-cs.github.io(在新分頁開啟)原文junchao-cs.github.io

每日 AI 內容精選