Apple 開源修圖模型 MGIE:用大白話改圖,打字就能調光換配料
Apple 聯合加州大學聖巴巴拉分校開源修圖模型 MGIE。使用者只需輸入日常大白話(例如說句「更健康」就能給披薩加蔬菜),模型便能理解意圖並完成調光、裁剪或替換元素。程式碼已在 GitHub 開源,並提供線上 Demo。

MGIE 是 Apple 聯合加州大學聖巴巴拉分校開源的一款多模態修圖模型,全名是 MLLM-Guided Image Editing。它的用處很簡單:讓你完全脫離修圖軟體複雜的選單和滑塊,純靠打大白話就能修改照片。
它能做什麼
像裁剪、縮放、翻轉、加濾鏡這類基礎操作,MGIE 只要一行文字指令就能搞定。但它最聰明的地方,在於能夠聽懂日常語言並針對畫面裡的具體物體做修改。
比如在論文裡展示的例子中,給模型一張義大利香腸披薩的照片,只要打一句「更健康一點」,它就會自動給披薩添上蔬菜配料。
面對一張在撒哈拉沙漠拍攝、光線偏暗的老虎照片,輸入「增加對比度以模擬更多光線」,模型就能準確地提亮暗部細節,而不是粗暴地把整張圖拉爆。
它是怎麼做到的
MGIE 巧妙地結合了多模態大語言模型的兩套能力,把修圖拆成兩步走。
第一步是把大白話翻譯成視覺語言。使用者的指令往往很主觀,比如「想要更藍的天空」,模型會先推匯出一個明確的視覺目標,識別出天空區域並計算對應的亮度與色彩調整。
第二步則是把這種視覺意圖落地到畫素上,直接在原圖基礎上生成合理的編輯效果。研究人員表示,這種雙步機制既維持了不錯的處理效率,又解決了以往指令模糊導致畫面崩壞的問題。
去哪裡體驗
Apple 已經在 GitHub 上開源了 MGIE 的完整程式碼,感興趣的開發者可以直接下載折騰。
如果你不想在本地配置環境,據 VentureBeat 報道,研究團隊還在 Hugging Face Spaces 上架了一個線上 Web Demo,上傳圖片就能直接上手試玩。
目前 Apple 只把 MGIE 作為研究成果展示,還沒有公佈任何商用落地或整合進自家系統相簿的計劃。
為什麼重要
對普通使用者和設計師來說,MGIE 代表了一種修圖邏輯的轉變:我們不再需要記住那些複雜的調色引數,而是把 AI 當成一個聽得懂人話的修圖助理。
和 Adobe Firefly 偏向生成式背景填充、以及 DALL-E 3 只能對自己生成的圖做微調相比,MGIE 證明了開源多模態模型完全有能力對真實日常照片做精細的區域性語義修改。儘管目前它還停留在學術原型的階段,速度和穩定性還有很大提升空間,但對於正在研究端側視覺互動的開發者來說,這份開原始碼很值得第一時間拉下來跑跑看。
來源 (1)
- theverge.com(在新分頁開啟)原文theverge.com