跳到正文
IFAI

AIGC

Stability AI 釋出 Stable Video Diffusion:開源圖生影片基礎模型

首次發布 傳播指數 44

Stability AI 釋出首個生成式影片基礎模型 Stable Video Diffusion,並以研究預覽形式開源了程式碼與權重。該模型基於 Stable Diffusion 打造,包含兩款圖生影片模型,可生成 14 幀與 25 幀畫面。官方強調目前僅供研究,暫不可商用。

Stability AI 釋出 Stable Video Diffusion:開源圖生影片基礎模型
圖:stability.ai

Stable Video Diffusion 是 Stability AI 推出的首款生成式影片基礎模型,能把單張靜態圖片直接變成連貫的短影片。

它建立在之前的圖片生成模型 Stable Diffusion 基礎之上。這次官方直接把程式碼和模型權重端了出來,目標就是把開源生態從文生圖一路推向動態影片。

它能做什麼

這次釋出的 Stable Video Diffusion 包含兩款圖生影片(Image-to-Video)模型,主要區別在生成的幀數上。

一款模型可以生成 14 幀影片,另一款可以生成 25 幀。影片的幀率支援自定義調節,範圍在每秒 3 幀到 30 幀之間。

按照官方公佈的外部評測資料,在以基礎形態進行的盲測偏好研究中,這兩款模型的生成效果超過了目前主流的閉源商業模型。

除了常規的讓靜止畫面動起來,它還具備很強的下游任務適配能力。比如只要在多視角資料集上進行微調,它就能做到輸入一張單圖,直接生成物體的多視角環視影片,這對 3D 內容生成非常有用。

開放程度與限制

目前 Stable Video Diffusion 已經開放了程式碼倉庫和模型權重。程式碼可以在 GitHub 上獲取,本地執行所需的權重檔案也已經託管到了 Hugging Face。

想要了解更深入的技術細節,官方也同步放出了對應的研究論文。

如果你暫時沒有部署本地顯示卡的條件,Stability AI 同時也開放了一個候補名單,後續會推出帶文本生影片介面的網頁體驗,主打廣告、教育和娛樂等落地場景。

但這裡有一個硬性門檻:這次釋出明確標為「研究預覽」(Research Preview)。

官方特別強調,現階段的模型只用於研究和測試,收集關於安全性和質量的反饋,嚴禁直接用於實際商業專案或生產環境。

為什麼重要

影片生成領域此前幾乎全被閉源產品壟斷,創作者只能按月付費、在黑盒裡排隊抽卡。

Stable Video Diffusion 最直接的價值,是給開源社群送來了一顆真正的影片底層種子。對於開發者和演算法研究者來說,現在就可以下載權重,在本地研究如何微調、做下游適配或者搭建外掛工作流。

雖然 14 幀到 25 幀的長度換算下來只有短短幾秒,且暫時不能商用,但回想當年 Stable Diffusion 早期對整個設計生態的衝擊,開源影片底模的開放很可能會在未來幾個月催生出大量專門工具和微調方案。

如果你是追求商用成片的內容團隊,現在還不用急著換工作流;但如果你是想跑通本地影片生成管線的開發者或極客,現在已經可以去 Hugging Face 抓下權重跑起來了。

來源 (1)

  1. [1]
    stability.ai(在新分頁開啟)原文stability.ai

話題追蹤Stability AI 影片生成模型開發

這個話題的歷次新聞,最新的在上面。

  1. Stability AI 推出 SVD 1.1:最佳化影片連貫性,生成 4 秒高畫質短片
  2. Stability AI 釋出 Stable Video Diffusion:開源圖生影片基礎模型本則

每日 AI 內容精選