跳到正文
IFAI

AIGC

Mosaic Chunk 开源:给 AI 视频装上长记忆,物体出画也不崩

首次发布 传播指数 41

本周,AI 视频记忆系统 Mosaic Chunk 正式开源。它通过选择性记住早期帧的关键特征,解决了物体离开画面数秒后模型就「失忆」变形的难题。项目已开放文生视频(基于 MiniMax H3)和图生视频(基于 Ling World Infinity)两套模型,支持本地运行。

Mosaic Chunk 开源:给 AI 视频装上长记忆,物体出画也不崩
图:radar.annotateit.ai

Mosaic Chunk 是一个专为 AI 视频生成器设计的长效记忆系统,主要解决镜头中物体一旦离开画面就容易变形、走样的痛点。

以往用开源模型生成连贯视频时,只要某个物体被遮挡或移出视野几秒钟,模型往往就会忘记它最初的长相。Mosaic Chunk 的目标就是让 AI 在更长的时间跨度里记住物体和场景的特征。

它能做什么

传统的长视频生成方案如果硬存之前的每一帧画面,显存开销会非常恐怖。Mosaic Chunk 没有采用全部缓存的办法,而是给视频生成过程加入了一套选择性记忆机制。

它会在早期的视频帧中识别出有用的关键细节,把这些核心特征选择性保存下来。等到后续画面需要用到相关内容时,系统再精准调用出来。

从官方给出的演示效果来看,即使某个物体从画面中完全消失好几秒,再次出现时依然能保留最初的外观特征,整个场景的环境一致性也不会崩溃。

怎么跑起来

项目已经完全开源了代码和模型权重,并且自带了详细的本地运行指引。

需要留意的是,这次发布包含了两个不同用途的模型版本。文本生成视频版本基于 MiniMax H3 构建,图像生成视频版本则基于 Ling World Infinity 打造。

如果你打算在自己的电脑上部署,直接打开项目主页的代码仓库,向下滚动页面就能看到完整的下载与运行步骤。

为什么重要

我们认为,AI 视频生成向长镜头和故事片演进的过程中,一致性往往比单帧画质更致命。Mosaic Chunk 聪明的点在于它没有盲目硬堆上下文长度,而是用类似外挂记忆调用的方式来维持特征,思路相当轻巧实用。

对于经常被角色换脸、道具变形折磨的视频创作者和本地开发者来说,这个工具值得第一时间上手体验。不过它在面对更复杂的长线遮挡或剧烈光影变化时能否稳定保持特征,还有待更多实测验证。

来源 (1)

  1. [1]
    youtube.com(在新标签页打开)原文youtube.com

每日 AI 内容精选