Stability AI 推出 SVD 1.1:最佳化影片連貫性,生成 4 秒高畫質短片
Stability AI 宣佈推出影片生成模型 SVD 1.1,基於 SVD-XT 微調,可在 1024x576 解析度下生成 4 秒 25 幀短片。新版本優化了運動連貫性,減少畫面靜止與人物崩壞。研究用途可在 Hugging Face 免費下載,商用則需付費訂閱或通過 API 呼叫。

用 AI 跑過圖生影片的人,大概都經歷過這種崩潰:輸入一張精緻的照片,滿心期待一段電影級動態,結果畫面裡的人臉扭曲成一團,鏡頭慢得像卡死,甚至整張圖根本紋絲不動。
針對這種「殭屍畫面」,Stability AI 給自家的影片模型打了個補丁。他們正式上線了影像轉影片模型的新版本 SVD 1.1。
作為 SVD-XT 的微調升級版,SVD 1.1 專門衝著動態表現和畫面一致性而來。根據 Stability AI 技術長 Tom Mason 的介紹,新模型已經在 Hugging Face 開放下載,同時上線了開發者 API。
把預設引數焊死,治好 AI 影片的「面癱」
回看 2023 年 11 月,Stability AI 首次推出了 SVD 和 SVD-XT 兩款模型。當時的基礎版 SVD 只能生成 4 秒、最多 14 幀的影片,微調版 SVD-XT 則把幀數拉到了 25 幀。
但老版本的毛病很明顯。很多時候影片缺乏逼真感,鏡頭推拉緩慢無力,遇到人臉和人體時更是經常翻車變形。要調出好效果,使用者得在各種複雜的引數裡反覆試錯。
這次 SVD 1.1 走了一條相當務實的路線。它同樣輸出 1024x576 解析度、25 幀的 4 秒片段,但官方在微調時把生成條件直接固定在了 6FPS 和運動桶編號 127。說白了,就是把最容易出好效果的引數組合做成了開箱即用,免去使用者手動調整超引數的麻煩。
當然,這些引數並沒有被鎖死,想要自定義依然可以微調。不過官方在 Hugging Face 頁面上也留了一句大實話:新模型在固定引數之外的表現可能會和老版本有所差異,原來的某些畫面缺陷也依然可能出現。
在商業模式上,Stability AI 延續了之前的策略。模型對純研究用途完全開源免費;但如果想用於商業專案,就得加入他們的會員體系,費用從每月 20 美元起步。
對於需要批次呼叫的團隊,官方還把 SVD 放進了開發者平臺的 API。介面支援 1024x576、768x768 以及 576x1024 等多種解析度,除了 25 個原生生成幀外,還會通過插值演算法補足到 24fps 的 MP4 影片,並且支援控制運動強度。
為什麼重要
我們認為,SVD 1.1 最大的價值不在於技術架構有多大突破,而在於降低了工業化落地的工程門檻。
對開發者和中小團隊來說,現在跑開源影片模型最頭疼的不是硬體算力,而是良品率太低。幾百次抽卡可能才有一條能用,商業落地的成本直接被拉爆。SVD 1.1 通過固定最優運動引數,讓生成質量變得更可預測,值不值得試?如果你正在搭建自己的影片生成工作流,現在完全值得接入測試,畢竟在開源領域能跑通穩定動態的模型選擇並不多。
在行業競爭層面,Stability AI 走出了一步和競品截然不同的棋。像 Runway 正在大力推 Multi Motion Brush 區域性筆刷,Pika 也在主打塗抹替換區域性區域,兩家在網頁端的消費者體驗上做得花哨且易用。但問題在於,Runway 和 Pika 始終把模型捂在自己的封閉網頁裡,不開放 API。
相比之下,Stability AI 看起來正在全力搶佔管道生意。它不僅把權重開源給社群,還同步提供 API 介面。這意味著任何想做 AI 影片應用的第三方軟體,都可以隨時把 Stability 的能力接進自己的後臺,而不是去幫 Runway 或 Pika 導流。
不過隱患也顯而易見。SVD 1.1 依然只能生成 4 秒短影片,本質上還是個研究向的模型。隨著影片生成領域的戰火向更長時長、更復雜互動蔓延,光靠在老模型上修修補補,很難長期擋住對手閉源全家桶的圍剿。
來源 (1)
- venturebeat.com(在新分頁開啟)原文venturebeat.com
話題追蹤Stability AI 影片生成模型開發
- Stability AI 推出 SVD 1.1:最佳化影片連貫性,生成 4 秒高畫質短片本則
- Stability AI 釋出 Stable Video Diffusion:開源圖生影片基礎模型