跳到正文
IFAI

AIGC

生数科技联手清华发布 Vidu:一键生成 16 秒 1080p 视频对标 Sora

首次发布 传播指数 37

生数科技联合清华大学发布文本生成视频模型 Vidu。它基于自研的 U-ViT 架构,能一键生成 16 秒、1080p 分辨率的视频,支持单场景多机位切换与物理规律模拟。虽然画质和真实感与 Sora 相比仍有差距,但其画面连贯性表现亮眼。

图:maginative.com

OpenAI 扔出 Sora 这颗深水炸弹后,全世界都在看中国团队什么时候能拿出对标的产品。

在 2024 年北京举办的中关村论坛上,生数科技联合清华大学正式发布了文生视频大模型 Vidu。它能够一键生成 16 秒长、1080p 高清分辨率的视频片段,直接把自己摆在了挑战 Sora 的擂台上。

16 秒 1080p,架构据说比 Sora 还要早

如果单看生成时长,Vidu 目前能跑出 16 秒,和 Sora 标称的 60 秒相比还有明显差距。但在分辨率上,它直接做到了 1080p 高清。

更有意思的是底层的模型架构。官方表示,Vidu 基于一种叫 U-ViT(通用视觉 Transformer)的架构。这套架构是生数科技团队早在 2022 年 9 月提出的,从时间节点上看,比 Sora 所采用的 DiT 架构还要更早一些。

按照研发团队的说法,正是得益于这套架构,Vidu 具备了模拟真实物理世界的能力,不仅能处理逼真的光影变化和细腻的人脸表情,还能生成富有想象力、甚至现实中不存在的超现实画面。

能切镜头,但画质细节还没彻底追平

在演示中,生数科技特意挑了不少类似 Sora 当初展示过的场景来进行复刻,正面叫板的意味很浓。

Vidu 展现出了很抢眼的多机位镜头切换能力。它可以在单个场景里自然过渡,把远景、中景和特写顺滑地衔接起来,而不需要切断重新生成。

从生成质量来看,Vidu 表现出来的时序一致性确实可圈可点,物体和人物在镜头移动时没有出现离谱的形变或穿模。

不过如果把两者的生成结果并排对比,客观地说,Vidu 在画面的真实感和细节质感上,依然比不上 Sora 的水准。那种电影级的材质细腻度,生数科技显然还需要再花时间追赶。

为什么重要

我们认为,Vidu 的发布对视频创作者和国内 AI 赛道来说是一个很关键的信号。

对创作者而言,目前虽然还没到直接替换专业影视渲染的地步,但 16 秒加上 1080p 的多镜头切换能力,已经足以让自媒体制作分镜脚本或动态概念图的效率翻倍。一旦开放测试,非常值得短视频和设计团队第一时间上手试试。

从行业竞争来看,这是国内团队在长视频生成领域一次非常硬核的技术交卷。它证明了国内不仅能快速跟进前沿方向,而且在底层架构上有自己的学术积累,没完全跟在海外开源路线后面跑。

生数科技直接拿 Sora 的经典 Prompt 来做演示,做法挺大胆,也很有野心。这既让大家直观看到了差距缩小到了什么程度,但也把画质上的短板毫无保留地摆在了明处。看起来,底座架构打通之后,接下来拼的就是海量高质量数据训练和工程细节的微调了。

来源 (1)

  1. [1]
    maginative.com(在新标签页打开)原文maginative.com

每日 AI 内容精选