跳到正文
IFAI

AI科研

OmniLottie 论文公开:能直接把图文指令转成 Lottie 矢量动画

首次发布 传播指数 36

研究团队提出矢量动画生成框架 OmniLottie。它通过专用分词器配合视觉语言模型,能将文本与图像等指令直接转化为实用的 Lottie JSON 动画文件。研究团队还同步推出了包含 200 万条标注动画的数据集 MMLottie-2M。

OmniLottie 论文公开:能直接把图文指令转成 Lottie 矢量动画
图:huggingface.co

OmniLottie 是一个能把多模态指令直接转成 Lottie 矢量动画的生成框架。无论你给它输入文字描述、参考图片还是视频,它都能直接输出轻量、可交互的 Lottie JSON 动画代码,而不需要经过传统的设计软件一步步手工切图制作。

它能做什么

以往用 AI 做动效,大部分模型输出的都是像素级的 MP4 视频或 GIF 动图。这类格式体积大,而且放大就会模糊,根本没法直接塞进移动端 App 或网页前端当作 UI 控件使用。

OmniLottie 则直接瞄准了前端开发最常用的 Lottie 矢量格式。它支持图文交错的复杂指令,能根据你的需求直接生成包含矢量形状、运动路径和控制参数的完整 JSON 文件,缩放到任何分辨率都能保持清晰。

怎么做到的

直接用大模型生成原始的 Lottie JSON 并不容易,因为这类文件里充斥着大量固定的格式元数据和冗余结构,很容易把模型的注意力带偏。

研究团队的核心解法是设计了一个专用的 Lottie 分词器。这个分词器会把复杂的 JSON 拆解成由命令与参数构成的紧凑序列,分别对应几何形状、动画函数和控制属性。

有了这套分词表示,OmniLottie 就能直接构建在现成的预训练视觉语言模型之上,实现端到端的多模态理解与生成。为了支撑训练,团队还整理了 MMLottie-2M 数据集,包含 200 万条带有图文详细标注的高质量专业矢量动画,并配套了标准评测基准。

在社区讨论中,不少开发者指出,放弃像素输出、转用参数化 token 是个非常讨巧的思路,不仅训练和推理开销更低,还能直接产出可供前端工程调用的真实资产。

去哪看与开放情况

目前该研究已在 Hugging Face 论文板块上线,论文编号为 2603.02138。研究团队公开了论文与架构细节,感兴趣的开发者可以通过 Hugging Face 页面查看完整论文内容。

为什么重要

对于 UI 设计师和前端工程师来说,从设计稿到实现动效往往要经过漫长的调试周期,OmniLottie 展示了一种让动效资产直接「按需生成」的可能。

和市面上绝大多数只做像素视频生成的模型相比,它切入了一个真正能融入生产管线的细分痛点。我们认为,这种把结构化参数文件重新 token 化并借助视觉语言模型生成的路径很聪明,不仅解决了矢量动画的工程可用性,也为其他特定工业格式的 AI 生成提供了一个值得参考的样板。

来源 (1)

  1. [1]
    huggingface.co(在新标签页打开)原文huggingface.co

每日 AI 内容精选