跳到正文
IFAI

開源專案

位元組開源生圖模型 BitDance:並行預測 Token,生成提速超 30 倍

首次發布 傳播指數 48

字節跳動開源自迴歸影像生成模型 BitDance。該模型採用二值視覺 Token 與並行擴散解碼,在生成 1024x1024 影像時比傳統自迴歸模型提速超 30 倍。最值得關注的是,它大幅緩解了自迴歸生圖速度慢的痛點,兼顧了生成質量與推理效率。目前程式碼與權重已開源。

BitDance 是字節跳動開源的一套自迴歸影像生成模型。它的核心賣點就一個字:快。

在生成 1024x1024 高解析度圖片時,它的生成速度比傳統自迴歸模型直接提速超過 30 倍。

熟悉生圖模型的開發者都知道,自迴歸路線生成質量很高、可控性也強,但一直有個致命傷:推理太慢。它就像大語言模型吐字一樣,必須一個 Token 接著一個 Token 序列生成。BitDance 想解決的就是這個痛點。

它是怎麼做到大幅提速的

自迴歸模型傳統做法是用離散詞表索引來表示影像,但詞表太小畫質差,詞表太大分類預測又算不動。

BitDance 換了一條路,改用緊湊的二值視覺 Token。藉助高熵二值隱變數,每個 Token 能表達多達 2 的 256 次方種狀態,影像壓縮率極高,資訊保留還很豐富。

面對這麼龐大的狀態空間,傳統的 Softmax 分類器根本沒法抽樣。BitDance 於是引入了一個二值擴散頭,把分類問題轉換成了連續空間下的擴散過程。

更關鍵的一步是它提出的 Next-Patch 擴散解碼機制。它不再一個一個蹦 Token,而是每一步擴散過程並行預測 64 個 Token,直接做到了大面積並行生成。

實際效果與模型規格

這套機制帶來的效能收益非常紮實。在標準測試 ImageNet 256x256 上,BitDance 的 FID 指標達到了 1.24,創下了自迴歸模型裡的新紀錄。

在效率對比上,僅有 2.6 億(260M)引數的 BitDance,不僅在畫質上擊敗了擁有 14 億(1.4B)引數的業界頂級並行自迴歸模型,推理速度還比對方快了 8.7 倍。

除了輕量小模型,BitDance 還支援擴充套件到 14B 這樣的大模型規模。在大規模多模態資料訓練下,即使模型引數拉到 14B,生成 1024x1024 真實照片級別的影像也依然能保持極快速度。

目前專案的論文、完整程式碼和模型權重都已經對外放出,可以在開源社群直接獲取。

為什麼重要

我們認為,BitDance 最有價值的地方在於把自迴歸生圖重新拉回了工業落地的主舞臺。之前自迴歸生圖雖然邏輯上與多模態 LLM 最容易統一,但因為速度被純擴散模型壓得抬不起頭。BitDance 證明了自迴歸架構完全能跟擴散演算法融合,兼顧高質量與高吞吐。

對於想要自建生圖服務或者研究原生多模態生成的開發者來說,BitDance 非常值得現在就拉下來測試。它的二值 Token 與並行擴散思路,很可能會成為接下來開源文生圖架構演進的一個新參考標準。

來源 (1)

  1. [1]

每日 AI 內容精選