字节开源统一模型 Lance：图像与视频的理解、生成、编辑全打通

Lance 是字节跳动开源的原生统一多模态模型，能用一套权重同时搞定图像和视频的理解、生成与编辑。

它能做什么

它最吸引人的地方在于把以前割裂的视觉任务合在了一起。你不仅可以用文字生成图片和视频，还能直接把已有素材扔给它做语义级编辑。

在视频编辑上，它就像一个可交互的视频助手。你可以让它把背景换成火焰、给汽车换个颜色，甚至能通过多轮对话连续调整画面，比如先把主角的头发变长卷曲，再戴上花环，最后改变动作。

在图像方面，它支持动漫、水彩、写实照片等风格生成。你还能把两张不同图片的物体拼合到一起，或者根据多张参考图合成新图并保持一致性。

因为是统一模型，它的理解能力也直接融入了生成过程。输入迷宫图片它能生成解题视频，输入一段视频并提问，它也能结合画面和文本内容给出回答，甚至能看懂图表和曲线图。

怎么实现的与硬件门槛

Lance 在技术上没有走简单堆叠参数的老路，而是采用双流混合专家（MoE）架构，并引入了模态感知的旋转位置编码。

这套设计把理解与生成的路径解耦，解决了多模态混搭训练时容易互相干扰的问题。它的激活参数只有 30 亿，模型文件估计总参数在 14B 左右。

官方已经公开了代码和论文，并提供了本地运行说明。

不过想在本地跑起来门槛不低。由于需要同时承载多模态生成与理解上下文，官方要求至少配备一块拥有 40GB 显存的 GPU，普通消费级显卡暂时吃不消。

为什么重要

Lance 的价值在于探索了「多任务协同」而不是单纯堆大模型体积的路线。如果你的研究或业务需要将视觉问答与视频生成结合，它非常值得作为底座进行测试。

和市面上那些把理解模型与扩散生成模型拼凑起来的方案相比，Lance 这种原生统一架构在上下文一致性和交互编辑上有明显优势。

不过它的短板也很诚实，官方承认目前的纯视频生成画质并不是顶尖水准。我们认为，它更适合需要频繁局部修改、多轮交互的生产流程，而不是拿来单帧追求极致画质。