跳到正文
IFAI

開源專案

位元組開源 Helios:單張 H100 即時生成 1 分鐘長影片,跑出 19.5 幀

首次發布 傳播指數 48

位元組開源 14B 即時影片生成模型 Helios,在單張 H100 上生成速度達 19.5 幀/秒,最長可生成 1 分鐘長影片且畫風不崩。最值得關注的是,它無需繁複外掛手段就解決了長影片畫質漂移難題。相關執行管線與程式碼已開源至 GitHub。

位元組開源 Helios:單張 H100 即時生成 1 分鐘長影片,跑出 19.5 幀
圖:arxiv.org

Helios 是位元組開源的一個 14B 即時長影片生成模型。它的核心能力,就是在單張 NVIDIA H100 顯示卡上以 19.5 幀/秒的速度,即時生成最長達 1 分鐘的影片,而且畫面不會隨著時長拉長而崩壞。

它能做什麼

Helios 原生支援文生影片、圖生影片以及影片生影片三種常見任務。

最顯眼的特點就是快。在終端的實際演示中,一段 30 多幀的內容幾乎不到 2 秒就能跑完。其蒸餾版本的生成幀率穩定在 19.5 幀/秒左右,已經非常接近傳統影片的流暢播放標準。

另一個突破是抗漂移。過去的即時模型生成幾秒還行,一旦拉長,畫面通常很快就會出現噪點失控、動作無限重複或者畫風走樣。Helios 最長能連續跑出 1 分鐘的影片,且畫風始終保持連貫。

畫質方面,雖然追求即時生成讓它不可避免地帶有一點噪點,銳度也比不上慢速離線渲染的頂級模型,但在同類即時生成工具中畫質優勢明顯,甚至能直接對標部分非即時影片模型。

怎麼做到的與硬體門檻

Helios 採用的是 14B 引數量的自迴歸擴散架構。

它最聰明的地方在於沒有盲目堆疊複雜技巧。團隊沒有采用 KV 快取、稀疏注意力或量化等傳統加速套路,而是通過大幅壓縮歷史上下文與噪聲上下文,並精簡取樣步數,硬生生把 14B 模型的計算開銷壓到了接近 1.3B 模型的水平。

針對長影片容易漂移崩壞的問題,它沒有依靠外掛誤差庫或關鍵幀取樣,而是在訓練階段就顯式模擬畫面漂移,從源頭上掐滅重複性動作。

不過,目前的執行門檻依然不低。要跑出 19.5 幀的極致速度,官方給出的基準測試是單張 NVIDIA H100 GPU。但它的視訊記憶體最佳化做得極好,訓練時甚至無需分散式切分,單張 80 GB 視訊記憶體就能裝下多個模型的訓練批次。

專案已經開源,GitHub 倉庫裡完整提供了推理執行流程、本地環境安裝指南和訓練程式碼,後續也會開放基礎模型與蒸餾模型權重。

為什麼重要

對於手裡有高階卡算力資源的開發者和技術團隊來說,Helios 是一個值得立刻拉下來跑跑看的高價值底座。它證明了即便不用繁瑣的外掛工程,單卡也能撐起百億引數影片模型的即時長程生成。

我們認為,Helios 的意義在於把開源影片生成往互動式工具狠狠推了一步。過去影片生成都是點完生成然後去泡杯咖啡,而單卡 20 幀的即時長影片一旦成熟,未來的動態場景渲染、虛擬人即時互動就有了真正的實用可能。

來源 (1)

  1. [1]

每日 AI 內容精選