位元組開源統一模型 Lance：影像與影片的理解、生成、編輯全打通

Lance 是字節跳動開源的原生統一多模態模型，能用一套權重同時搞定影像和影片的理解、生成與編輯。

它能做什麼

它最吸引人的地方在於把以前割裂的視覺任務合在了一起。你不僅可以用文字生成圖片和影片，還能直接把已有素材扔給它做語義級編輯。

在影片編輯上，它就像一個可互動的影片助手。你可以讓它把背景換成火焰、給汽車換個顏色，甚至能通過多輪對話連續調整畫面，比如先把主角的頭髮變長卷曲，再戴上花環，最後改變動作。

在影像方面，它支援動漫、水彩、寫實照片等風格生成。你還能把兩張不同圖片的物體拼合到一起，或者根據多張參考圖合成新圖並保持一致性。

因為是統一模型，它的理解能力也直接融入了生成過程。輸入迷宮圖片它能生成解題影片，輸入一段影片並提問，它也能結合畫面和文本內容給出回答，甚至能看懂圖表和曲線圖。

怎麼實現的與硬體門檻

Lance 在技術上沒有走簡單堆疊引數的老路，而是採用雙流混合專家（MoE）架構，並引入了模態感知的旋轉位置編碼。

這套設計把理解與生成的路徑解耦，解決了多模態混搭訓練時容易互相干擾的問題。它的啟用引數只有 30 億，模型檔案估計總引數在 14B 左右。

官方已經公開了程式碼和論文，並提供了本地執行說明。

不過想在本地跑起來門檻不低。由於需要同時承載多模態生成與理解上下文，官方要求至少配備一塊擁有 40GB 視訊記憶體的 GPU，普通消費級顯示卡暫時吃不消。

為什麼重要

Lance 的價值在於探索了「多工協同」而不是單純堆大模型體積的路線。如果你的研究或業務需要將視覺問答與影片生成結合，它非常值得作為底座進行測試。

和市面上那些把理解模型與擴散生成模型拼湊起來的方案相比，Lance 這種原生統一架構在上下文一致性和互動編輯上有明顯優勢。

不過它的短板也很誠實，官方承認目前的純影片生成畫質並不是頂尖水準。我們認為，它更適合需要頻繁區域性修改、多輪互動的生產流程，而不是拿來單幀追求極致畫質。