跳到正文
IFAI

開源專案

Evoke 開源:140 億引數互動式世界模型,單圖加搖桿即時生成可控場景

首次發布 傳播指數 48

開源互動式世界模型 Evoke 釋出,輸入單張圖片加搖桿操作即可在 3 步內近即時生成互動影片。模型引數量為 140 億,權重約 57GB,支援數小時長會話並不限長延伸場景。目前程式碼與全階段訓練權重均已按 Apache 2.0 開源。

Evoke 開源:140 億引數互動式世界模型,單圖加搖桿即時生成可控場景
圖:github.com

Evoke 是一個能把單張靜態圖片變成即時可操控互動世界的開源 AI 影片模型。你只要給它一張初始畫面,再連上搖桿,就能像玩遊戲一樣在畫面裡開雪地摩托、劃皮艇甚至潛水,模型會在幾秒內根據操作即時渲染後續影片。

它能做什麼

核心用法很簡單:一張圖片起手,搖桿控制視角和移動。輸入指令後,模型幾乎即時吐出對應的連續畫面。

在生成過程中,你還能隨時給它發文字指令改寫場景。比如開著車突然輸入「在場景里加氣球」或「天空中出現極光」,甚至讓遠處的火山爆發,畫面不會中斷,直接在當前運鏡裡平滑過渡。

它不僅支援寫實畫風和各種藝術風格,對複雜物理場景的理解也很紮實。除了拿來做互動式探索,這個能力最大的用途之一是為具身智慧生成合成訓練資料,比如醫院護理、水下探索或極端災難救援等現實中很難採集的機器人移動影片。

怎麼做到的與硬體門檻

能在保持可控的同時接近即時,關鍵在於它把擴散模型的推理壓縮到了僅需 3 個步驟,而且去掉了分類器自由引導(CFG),每一步只需一次前向計算。

普通影片模型跑幾分鐘就會視訊記憶體爆炸,而 Evoke 支援持續數小時的互動會話。它把場景幾何資訊存放在一個以相機位姿索引的外部點雲狀態庫中,渲染當前視野時只按需檢索必要資料,保證上下文視窗大小恆定。

在基準測試 WBench 上,它拿下了狀態評估的第一名,在長影片評測 VBench-Long 和 VBench-2.0 上也保持了很高的視覺質量。在單張輝達 H200 上,它每 2.11 秒就能生成 1.5 秒的 384×640 影片;在五張 H200 並行下,生成耗時可以壓到 1.34 秒。

Evoke 的引數量為 140 億(14B),最終模型權重約 57GB。程式碼和全階段訓練權重均已在 GitHub(AlayaLab/Evoke)按 Apache 2.0 協議開源,執行需要 Python 3.10、CUDA 12.4 以及 DeepSpeed 和 Flash-Attention 環境。

為什麼重要

以往像 Google Genie 3 這樣的互動式世界模型大多停留在閉源演示階段,Evoke 第一次把這種能力完整扔進了開源社群,而且連全套訓練檢查點都公開了。

對普通開發者和個人玩家來說,57GB 的視訊記憶體開銷意味著本地門檻極高,非企業級卡很難跑順。但對於機器人研發和具身智慧團隊來說,它現在就是一個現成可用的長時物理環境生成器,非常值得馬上拉到伺服器上跑跑看。

來源 (2)

  1. [1]
  2. [2]
    youtube.com(在新分頁開啟)報導youtube.com

每日 AI 內容精選