跳到正文
IFAI

AIGC

OpenCV 创始人创办 CraftStory:推出 Model 2.0,支持 5 分钟长视频

首次发布 传播指数 31

周二,OpenCV 创始人打造的视频初创公司 CraftStory 宣布完成 200 万美元融资并推出 Model 2.0。该模型采用并行扩散架构,能生成长达 5 分钟的人物视频,突破了竞品普遍仅能生成数秒或 25 秒的限制。目前它采用视频驱动静态图的模式,生成 30 秒片段约需 15 分钟。

OpenCV 创始人创办 CraftStory:推出 Model 2.0,支持 5 分钟长视频
图:venturebeat.com

现在的 AI 视频工具,视觉效果再震撼,大多也只能撑个五到十秒,OpenAI 的 Sora 2 撑死也就 25 秒。稍微长一点的演示或教程,基本全靠后期拼接。

计算机视觉库 OpenCV 的原班团队出来创业了。周二,由 OpenCV 创始人兼首席执行官 Victor Erukhimov 创办的 AI 视频公司 CraftStory 宣布走出隐身状态,同时拿出了首款模型 Model 2.0,直接把以人为核心的视频生成长度拉到了整整 5 分钟。

有意思的是,与动辄融资几十亿美元的大厂相比,CraftStory 这次仅拿到了 200 万美元的早期投资,资金几乎全部来自 Wrike 前创始人 Andrew Filev。他们想用一套完全不同的打法,证明堆算力并不是唯一的出路。

拆开跑的并行扩散架构

行业里做长视频最大的痛点,就是画面崩坏。主流模型一般是在时间轴上逐步串行生成,前几秒一旦出现手指扭曲或面部变形,这个错误就会像滚雪球一样在后续帧里不断放大,最后完全失控。

CraftStory 换了个思路,做了一套并行扩散架构。它不是生成一段再拼一段,而是在整整 5 分钟的时间轴上,同时运行多个较小的扩散算法。更关键的是,这些算法之间存在双向约束,视频后面的画面甚至可以反过来修正前面的动作,彻底阻断了瑕疵的连续蔓延。

数据来源也很有讲究。CraftStory 没有像别家那样无底线抓取互联网视频,而是自己掏钱租摄影棚,请专业演员在高速高帧率摄像机前录制动作。团队特别强调,普通网络视频自带 30 帧的动态模糊,手部动作很容易糊掉,而定制的高帧率素材能把手指关节的运动细节交代得清清楚楚。

目前的 Model 2.0 走的是视频驱动视频路线。用户需要上传一张人物静态图,再配上一段用来指导动作的「驱动视频」。你可以上传自己的动作,也可以直接用官方预设的专业演员库,那些提供动作数据的演员还能从中拿到分成。此外,系统还配有口型同步算法和根据语调节奏对齐的手势匹配系统。

不过,现在的代价也相当明显。在当前版本下,生成一段低分辨率的 30 秒片段,大概需要足足 15 分钟。

为什么重要

我们认为,CraftStory 最聪明的点在于它放弃了全能路线,精准切入了一个极具商业价值的现实窄道:企业培训、客服教学和产品带货演示。这些场景不需要天马行空的电影级特效,但极度需要一个真人连贯、自然地讲上两三分钟。

对于创作者和企业员工来说,现在它还算不上一个傻瓜式工具。虽然 5 分钟的长度足够做完一整节微课,但 15 分钟渲染 30 秒的低清速度,意味着它的算力门槛和等待成本依然很高,短期内更适合专业营销团队在后台批量跑,普通人可以先保持观望。

从行业竞争来看,这是一次教科书般的以小博大。OpenAI 最新的单轮融资就超过了 60 亿美元,而 CraftStory 只靠 200 万美元就把视频长度拉到了大厂的数倍。这向整个行业证明了一件事:在高质量私有数据和精巧的架构面前,无脑堆砌公共数据和算力并不是唯一的解法。大模型实验室接下来很可能会被迫重新评估串行生成的逻辑,转向类似的并行长视频方案。

来源 (1)

  1. [1]
    venturebeat.com(在新标签页打开)原文venturebeat.com

每日 AI 内容精选