跳到正文
IFAI

AI工具

MatAnyone 视频抠图模型:3GB 显存可跑,单卡搞定 4K 实时抠图

首次发布 传播指数 41

研究团队公布视频抠图模型 MatAnyone,能精细分离单根发丝与半透明边缘。它只需约 3GB 显存即可运行,单张 H200 下可支持 4K 实时抠图,核心是通过低分辨率先定位难处理区域再局部精细计算。团队后续计划开源代码并推出 ComfyUI 节点。

做过视频后期的人都知道,抠像从来都是最磨人的苦差事。遇到飘动的碎发、半透明的薄纱或是玻璃杯边缘,传统的绿幕和蒙版算法往往破绽百出,而上一代大模型算法虽然效果拔群,显存占用却动辄把显卡挤爆。

研究团队公布了视频抠图模型 MatAnyone(论文中命名为 MatAnyone-E)。它不仅能精细分离单根头发和半透明边缘,还把显存门槛直接砍到了约 3GB,甚至在单张 H200 上跑出了 4K 实时抠图的成绩。

难搞的地方才用高分辨率

传统的视频抠图模型大多依赖「记忆机制」,也就是把当前画面的特征与前面几帧储存的信息做全面比对,以此保证连续多帧都不闪烁。但这套逻辑一旦遇到 4K 画质,搜索计算量和显存开销就会瞬间失控。

MatAnyone-E 换了一个很聪明的思路:它先在低分辨率下快速扫一遍画面,挑出那些真正难啃的「不确定区域」,比如随风散开的发丝或模糊的羽化边缘,并圈出与这些区域最相关的历史记忆。

紧接着,模型只在这些局部难点上调用高分辨率匹配,画面其他平整干净的背景则直接复用低分辨率的结果。再配上针对运行瓶颈优化的轻量解码器,新方案在保持同等抠图精度的情况下,推理速度比上一代 MatAnyone 2 提升了约 7.4 倍,4K 峰值显存更是降到了原本的 7.6%。

消费级显卡也能跑,ComfyUI 正在路上

效率提升带来的数字非常直观。在开启编译优化的单张 NVIDIA H200 GPU 上,MatAnyone-E 处理 1080p 视频的帧率达到了 73.07 FPS,4K 分辨率下也跑出了 28.62 FPS,完全达到了实时处理的标准。

更接地气的是,大约 3GB 的显存占用意味着普通个人电脑里的消费级显卡也能轻松驾驭,多人物同框的复杂场景同样可以干净利落地分离出来。

团队目前已经在项目页面挂出了规划,接下来不仅会公开训练代码和模型权重,还会推出专门的 ComfyUI 自定义节点,让本地工作流用户能直接上手。

为什么重要

我们认为,MatAnyone 最亮眼的地方不在于抠图边缘多锐利,而在于它把原本属于专业影视工作站的精细抠像能力,变成了普通设备触手可及的常规工具。

过去,发丝级和半透明物体的视频抠图必须在「极慢的渲染时间」与「昂贵的算力集群」之间做妥协。MatAnyone 把 4K 实时推理压缩进一张显卡、把常态运行控制在 3GB 显存内,直接打通了虚拟主播实时置换背景、短视频创作者快速出片乃至云端低成本批量剪辑的技术堵点。一旦 ComfyUI 节点上线,创作者生态大概率会迅速跟进。

从技术路径上看,这种「低清定位难点、高清局部攻坚」的稀疏化策略,给其他高分辨率视频生成和理解模型提供了一个极佳的减负样板。不过我们也要看到,目前团队展示的多为实验样片,代码与权重尚未完全开放交付,在极端光影变化或剧烈镜头运动下的真实抗压表现,还有待后续社区实测。

来源 (1)

  1. [1]

每日 AI 内容精选