OmniLottie 論文公開:能直接把圖文指令轉成 Lottie 向量動畫
研究團隊提出向量動畫生成框架 OmniLottie。它通過專用分詞器配合視覺語言模型,能將文本與影像等指令直接轉化為實用的 Lottie JSON 動畫檔案。研究團隊還同步推出了包含 200 萬條標註動畫的資料集 MMLottie-2M。

OmniLottie 是一個能把多模態指令直接轉成 Lottie 向量動畫的生成框架。無論你給它輸入文字描述、參考圖片還是影片,它都能直接輸出輕量、可互動的 Lottie JSON 動畫程式碼,而不需要經過傳統的設計軟體一步步手工切圖製作。
它能做什麼
以往用 AI 做動效,大部分模型輸出的都是畫素級的 MP4 影片或 GIF 動圖。這類格式體積大,而且放大就會模糊,根本沒法直接塞進移動端 App 或網頁前端當作 UI 控制元件使用。
OmniLottie 則直接瞄準了前端開發最常用的 Lottie 向量格式。它支援圖文交錯的複雜指令,能根據你的需求直接生成包含向量形狀、運動路徑和控制引數的完整 JSON 檔案,縮放到任何解析度都能保持清晰。
怎麼做到的
直接用大模型生成原始的 Lottie JSON 並不容易,因為這類檔案裡充斥著大量固定的格式後設資料和冗餘結構,很容易把模型的注意力帶偏。
研究團隊的核心解法是設計了一個專用的 Lottie 分詞器。這個分詞器會把複雜的 JSON 拆解成由命令與引數構成的緊湊序列,分別對應幾何形狀、動畫函式和控制屬性。
有了這套分詞表示,OmniLottie 就能直接構建在現成的預訓練視覺語言模型之上,實現端到端的多模態理解與生成。為了支撐訓練,團隊還整理了 MMLottie-2M 資料集,包含 200 萬條帶有圖文詳細標註的高質量專業向量動畫,並配套了標準評測基準。
在社群討論中,不少開發者指出,放棄畫素輸出、轉用引數化 token 是個非常討巧的思路,不僅訓練和推理開銷更低,還能直接產出可供前端工程呼叫的真實資產。
去哪看與開放情況
目前該研究已在 Hugging Face 論文板塊上線,論文編號為 2603.02138。研究團隊公開了論文與架構細節,感興趣的開發者可以通過 Hugging Face 頁面檢視完整論文內容。
為什麼重要
對於 UI 設計師和前端工程師來說,從設計稿到實現動效往往要經過漫長的調試周期,OmniLottie 展示了一種讓動效資產直接「按需生成」的可能。
和市面上絕大多數只做畫素影片生成的模型相比,它切入了一個真正能融入生產管線的細分痛點。我們認為,這種把結構化引數檔案重新 token 化並藉助視覺語言模型生成的路徑很聰明,不僅解決了向量動畫的工程可用性,也為其他特定工業格式的 AI 生成提供了一個值得參考的樣板。
來源 (1)
- huggingface.co(在新分頁開啟)原文huggingface.co