跳到正文
IFAI

AIGC

位元組推出 DreamLite:3.9 億引數端側模型,手機離線生圖編輯只要 3 秒

首次發布 傳播指數 41

字節跳動公佈輕量影像模型 DreamLite,僅 3.9 億引數即可在手機端完全離線執行。它兼顧文本生圖與影像編輯,在 iPhone 上生成一張 1024×1024 肖像圖約需 3 秒,還能直接換背景或改畫風。雖然寫實細節不及雲端大模型,但大幅壓低了手機端修圖的延遲與算力門檻。

位元組推出 DreamLite:3.9 億引數端側模型,手機離線生圖編輯只要 3 秒
圖:arxiv.org

很多人在手機上修圖時最煩的其實不是效果,而是等待:選完指令後手機開始轉圈,有時要等上好幾秒甚至十幾秒,一旦走進地鐵或者地下車庫沒訊號,AI 功能就直接罷工。

字節跳動釋出了一項名為 DreamLite 的研究。他們做出了一個引數量僅有 3.9 億的超輕量擴散模型,不僅能完全跑在手機本地,而且同時把文生圖和影像編輯裝進了一個模型裡。

在 iPhone 17 Pro 上實測,本地離線生成一張 1024×1024 解析度的「年輕女子與花朵」肖像圖大約只需要 3 秒。如果換到小米 14 上,配合 4 步去噪蒸餾技術,生成或編輯一張同等規格圖片的時間甚至被壓到了 1 秒以內。

3.9 億引數塞進手機,還能邊生圖邊修圖

此前跑在手機端的小模型大多隻能做單純的文生圖,一旦涉及區域性修改或者風格重繪,就得依賴體積更大的模型或者直接連雲端。

DreamLite 改變了這一點。它不僅能無中生有地畫圖,還能根據文字提示修改已有畫面。比如直接把一張普通風景圖換成油畫風或水彩風,或者把畫面中的白晝改成冰封雪湖的冬日景象,幾秒鐘就能給出結果。

在區域性編輯上,它也支援移除畫面中的鳥類、給天空加一道彩虹、替換仙人掌照片的背景,或者整張圖改成賽博朋克風。

當然,受制於僅 3.9 億的體量,它在寫實照片的人物皮膚紋理、動物毛髮等極限微距細節上,和雲端動輒幾十億引數的頂級模型相比依然有差距。但放在同等體量甚至稍大一些的端側模型裡,它的畫面表現和響應速度都處於前列。

怎麼把兩個模型擠進同一張單程票

要把影像生成和編輯合二為一,以往的做法往往需要多套網路或者額外的控制分支,這對手機有限的記憶體和算力來說負擔太大。

根據論文披露,DreamLite 採用了剪枝後的輕量化移動 U-Net 作為主幹網路,巧妙地在潛空間裡使用水平空間拼接來統一輸入。做生圖任務時,模型接收的是「目標影像加空白區域」的組合;做編輯任務時,輸入的則是「目標影像加原始影像」。

為了讓這麼小的模型同時學會兩種技能,團隊設計了一套漸進式的聯合預訓練策略,先訓練文生圖基礎,再訓練編輯能力,最後進行聯合最佳化,並輔以高質量微調與強化學習。

最終測試顯示,DreamLite 在生圖基準 GenEval 上拿到 0.72 分,在編輯基準 ImgEdit 上拿到 4.11 分,不僅遠超現有端側方案,甚至在部分指標上能夠比肩某些伺服器端的中型模型。

為什麼重要

對普通使用者來說,這種技術帶來的最大改變是無感與安心。你不必擔心飛機飛行中或是訊號死角無法使用 AI 修圖,更重要的是,私密相簿裡的個人照片完全不需要上傳到伺服器,所有畫素處理都在裝置內部閉環完成。

對手機廠商和整個行業而言,端側多模態模型終於邁過了實用門檻。以往受限於算力,手機內建的修圖功能往往只能做特定濾鏡或簡單消除,而 DreamLite 證明了 0.39B 的極小引數量也能兼顧通用生成與自由語言修圖,為未來作業系統原生整合輕量 AI 工具鋪平了道路。

我們認為字節跳動這次的技術路徑走得非常務實。它沒有去硬拼引數規模和極限寫實度,而是牢牢咬住了端側落地最關鍵的指標:體積極小、延遲壓進 1 至 3 秒、單一模型承擔雙重任務。在移動端體驗上,秒級響應和零網路依賴所帶來的實用價值,遠比堆砌引數更直接。

來源 (1)

  1. [1]

每日 AI 內容精選