跳到正文
IFAI

AIGC

超高分辨率视频框架 LUVE 亮相:支持真 4K 生成,细节精细到毛发

首次发布 传播指数 41

研究团队展示超高分辨率视频生成框架 LUVE,专门攻克超清视频细节难合成的痛点。它采用潜空间上采样与双频专家三阶段架构,能直接生成 2K 和 4K 视频,连蜜蜂绒毛与水波纹都清晰可见。目前论文与演示已公开,代码暂未开放。

图:unicornanrocinu.github.io

现在大部分号称能生成 4K 的 AI 视频,点开一看往往经不起细看。很多只是拿 1080p 画面强行插值放大,不仅边缘发糊,镜头一动细节还会到处乱跳。

超高清视频生成一直是块硬骨头,既要算力不把显存撑爆,又要保证几十帧里细小的纹理不变形。最近,研究团队公布了一套名为 LUVE 的超高分辨率视频生成框架,交出了非常亮眼的答卷。

把生成拆成三步走

LUVE 的全称是基于双频专家的潜级联超高分辨率视频生成。名字很长,但思路非常清晰,核心就是不硬刚超高像素的计算量,把任务拆成三个阶段。

第一步先在低分辨率下搭好动作骨架,把镜头的运动轨迹和物体运动规律定下来,确保动作连贯不出 bug。

第二步很关键,它直接在视频潜空间里做上采样拉高分辨率。这相当于在压缩后的特征层面把画质撑开,避免在原始像素空间运算把显卡内存吃满。

第三步则是高分辨率内容细化,这里它引入了低频专家与高频专家。低频负责整体画面的结构与语义协调,高频则专攻皮肤纹理、毛发、微小倒影等锐利细节,两边配合把画面填满。

蜜蜂绒毛与沙漠波纹全看清

从官方放出的对比和演示来看,LUVE 生成的质感不像那种糊弄人的拉伸画面,而是真正具备 4K 级别的细节表现力。

在 2K 示例里,一只蜜蜂落在花瓣上,甚至能清晰数出它背上的每一根绒毛;热带珊瑚丛里游动的狮子鱼,鳍上的花纹和水下透明度都极为细腻。

到了 4K 级别,画面表现更进一步。沙漠中行走的一整排骆驼,脚下沙丘的风蚀纹理根根分明;海浪拍击岸边时溅起的水花与残留在沙滩上的细腻水波纹,也没有出现常见的伪影。

在基准测试对比中,该框架明显领先于当前一些主流开源方案。无论是画面的真实度还是内容保真度,都拉开了一定差距。

为什么重要

对于影视后期、广告制作以及高质量视觉内容创作者来说,真正的 4K 原生生成是刚需。以往大家只能用中低分辨率模型跑出草稿,再丢进外挂放大工具做增强,往往会导致质感塑料化,甚至凭空生出诡异细节。LUVE 展示的原生级细化能力,证明了端到端或级联潜空间方案完全能做到底层细节不穿帮。

对整个行业而言,LUVE 这种双频专家与潜空间级联的设计给模型轻量化落地提供了新样本。它没有无脑堆参数,而是把频率分离思路用在视频细化上,给高分辨率视频生成大幅减轻了算力负担。

不过目前来看,该项目在主页上虽然挂着代码仓库与数据按钮,但尚未提供有效链接,仅放出了论文与网页演示。我们认为,LUVE 的概念验证极其漂亮,但如果不能尽快向社区开放代码和权重,它的影响力就只能停留在学术刷榜和 Demo 惊艳上,大家依然要等待它真正落地可用。

来源 (1)

  1. [1]
    unicornanrocinu.github.io(在新标签页打开)原文unicornanrocinu.github.io

每日 AI 内容精选