跳到正文
IFAI

開源專案

開源影像編輯器 VIBE:2K 圖片編輯只要 4 秒,視訊記憶體 24GB

首次發布 傳播指數 48

開源影像編輯模型 VIBE 正式公佈,採用 2B 引數的 Qwen3-VL 搭配 1.6B 的 Sana 1.5。在 H100 上編輯 2K 影像約需 4 秒,蒸餾版本更壓至 2 秒以內。最值得關注的是,它用極小引數量實現了出色的原圖一致性保留。

開源影像編輯器 VIBE:2K 圖片編輯只要 4 秒,視訊記憶體 24GB
圖:riko0.github.io

VIBE 是一個極度輕量且速度極快的開源影像編輯模型。它能讓你直接通過自然語言指令修改圖片,在單張 NVIDIA H100 上處理 2K 解析度的高畫質影像只要約 4 秒。

目前主流的開源影像編輯方案往往依賴 6B 到 20B 引數的龐大擴散模型,不僅視訊記憶體吃緊,跑一張圖也慢得讓人抓狂。VIBE 走的是完全相反的輕量化路線,直接把體積壓到了小模型級別,卻依然能穩定保留原圖的細節特徵。

它能做什麼

VIBE 主要解決的是指令式影像編輯,也就是給一張圖配上一句話,讓 AI 精準執行修改,同時不毀掉不需要變動的地方。

在實際測試和示例中,它能輕鬆完成區域性新增或調整,比如給照片中的人物加上一條特定款式的圍巾;也能做全域性的環境變換,比如把原本的大白天切換成深夜,並給場景順手加上路燈光效。

替換背景和整體藝術風格遷移同樣不在話下。在 ImgEdit 和 GEdit 等基準測試中,VIBE 在屬性微調、移除物體、背景替換這類強依賴原圖一致性的任務上,表現甚至追平或超越了體積大它數倍的模型。

架構設計與硬體規格

VIBE 之所以能跑得這麼快,關鍵在於極其精簡的拼裝思路。它沒有盲目堆砌引數,而是選用了 2B 引數的 Qwen3-VL 充當理解指令的視覺語言模型,負責指揮編輯方向。

影像生成底座則交給了 1.6B 引數的 Sana 1.5 擴散模型。兩者合力之下,整套系統在 BF16 精度下只需要 24GB 視訊記憶體就能完整執行。

標準版本在 H100 上生成 2K 影像耗時約 4 秒。如果追求更極致的響應速度,研究團隊還放出了一個 CFG 蒸餾版本,去掉了推理時的分類器自由引導計算,速度直接提升 1.8 到 2 倍。在 1024x1024 解析度下只要 0.64 秒,2K 解析度也只需 1.97 秒。

目前專案已經在 GitHub 上開源了程式碼,Hugging Face 上也提供了免費線上 demo,支援手動調節步數、引導詞權重和原圖參考強度。

為什麼重要

我們認為 VIBE 最聰明的地方,在於它沒有跟著大廠卷百億引數,而是證明了小模型做影像編輯不僅可行,而且在很多實用場景裡比大模型更靠譜。

對於個人開發者和創作者來說,24GB 視訊記憶體意味著單張消費級顯示卡只要後續配合量化就能在本地跑起來,不再非得租昂貴的雲端叢集。如果你正在搭建需要即時互動的圖片生成工作流,它極快的響應速度能讓預覽體驗直接提升一個檔次。

不過要注意的是,受限於 1.6B 的底座規模,它在極其複雜的多輪組合指令或冷門風格理解上可能還是不如超大模型細膩。但就日常的增刪改換而言,它的價效比和實用度目前在開源領域名列前茅。

來源 (1)

  1. [1]
    riko0.github.io(在新分頁開啟)原文riko0.github.io

每日 AI 內容精選