跳到正文
IFAI

AIGC

Viggle 发布 Meridian:已有视频能换运镜,还能做「子弹时间」

首次发布 传播指数 41

Viggle AI 发布视频重构模型 Meridian。只要输入一段现有视频或单张照片,它就能重建 3D 场景并按自定义轨迹重新运镜,甚至冻结画面做出「子弹时间」效果。模型基于 MiniMax-H3 构建,目前已开源 LoRA 权重并支持 ComfyUI。

Viggle 发布 Meridian:已有视频能换运镜,还能做「子弹时间」
图:huggingface.co

Meridian 是 Viggle AI 推出的一个几何引导视频工具,能帮你拿现成的实拍视频或单张照片,重新生成一段完全不同运镜轨迹和时间节奏的新镜头。你可以让摄像机绕着主体环绕旋转、横向平移,或者在动作正激烈时把画面完全定格,做出《黑客帝国》那样的「子弹时间」效果。

它能做什么

只要输入一段 24 fps 的连续视频或者一张单帧图片,你就能在三维空间里自由规划新的摄像机路径。

比如给一段攀岩或打篮球的实拍片段,你可以指定镜头先正常推进,然后在起跳瞬间定格画面并旋转视角,最后再恢复播放。

模型输出规格固定在 24 fps,画面比例匹配 768 画布(16:9 比例下为 1344 × 768),支持生成 73 帧到 243 帧的内容,相当于 3 到 10 秒的一个镜头。

怎么做到的

Meridian 并不是直接凭空脑补镜头,而是走了一条「几何重建加扩散补全」的路线。

第一步,它利用一套叫 VGGT-Omega 的几何系统估计原始视频的深度和相机姿态,把选中的帧变成带颜色的 3D 点云。

第二步,系统根据你画好的新运镜轨迹,快速把点云投影成粗糙的参考视频,没有画面信息的地方先留灰。在这一步你可以直接在浏览器里实时预览运镜,不满意随时改。

第三步,它把原视频和这个带灰洞的几何参考画面一起喂给 MiniMax-H3 模型,由模型补全缺失的画面细节并优化光影。

为了不改动底座,Viggle 把它做成了两个 LoRA 适配器,各占 2.5 GiB,一个是负责读懂几何渲染的 teacher,另一个是蒸馏后的 turbo,只需 4 步采样就能出图。

怎么跑起来

想在本地跑 Meridian,硬件门槛并不低。

底座 MiniMax-H3 大约占 61.7 GiB 显存,加上两个 LoRA 和 VGGT-Omega,官方参考实现需要一张高显存的大算力 GPU。目前脚本还不支持量化和 CPU 内存卸载,不过官方鼓励社区往 RTX 4090 这样的消费级显卡上做移植。

项目已经在 Hugging Face 上开源了代码、LoRA 权重和运行资产。

你可以用命令行脚本直接推理,也可以启动自带的本地 Studio 网页原型做多关键帧调镜。喜欢节点流的话,官方还直接提供了 ComfyUI 的自定义节点和两套完整工作流,拖进画布就能用。需要注意的是,VGGT-Omega 带有非商用限制,需要单独获取。

为什么重要

对于独立创作者和特效师来说,Meridian 相当于给实拍素材开了一颗后期后悔药。以前需要昂贵多机位阵列才能拍出来的子弹时间和复杂环绕镜头,现在单机位拍完就能后期重构。

和以往靠文生视频硬猜运镜的工具相比,它用几何点云做硬约束,镜头运动不仅精准可控,主体结构也不会乱晃崩溃。

我们认为,虽然目前 60 多 GB 的显存门槛把普通玩家挡在了门外,但它的架构思路非常聪明,没有重训大模型,而是靠 LoRA 和几何引导盘活了现成基座。只要社区完成 4-bit 量化或单卡卸载,这套方案很快就会成为视频二创和动态特效的常用管线。

来源 (2)

  1. [1]
    huggingface.co(在新标签页打开)原文huggingface.co
  2. [2]
    youtube.com(在新标签页打开)报道youtube.com

每日 AI 内容精选