跳到正文
IFAI

AIGC

Lightricks 升级 LTX Video:支持实时边播边改,最长生成 60 秒

首次发布 传播指数 41

Lightricks 发布开源模型 LTX Video 最新版,支持实时流式生成,创作者能在生成中途追加提示词微调画面。新模型最长可生成 60 秒连续视频,开源权重已上线 Hugging Face 与 GitHub,单张 H100 或消费级笔记本电脑即可运行。

Lightricks 升级 LTX Video:支持实时边播边改,最长生成 60 秒
图:techcrunch.com

LTX Video 是一个开源的视频生成模型,最新版本让你能在视频一边流式生成时一边追加提示词,像现场导演一样实时调整画面走向,而且最长支持生成 60 秒的连续视频。

目前主流 AI 视频生成大多只能跑 8 秒左右的短片段,而且必须先打完所有提示词,等着后台渲染几分钟,出来什么样就是什么样。LTX Video 这次把生成机制换成了自回归视频引擎,从第一批帧画面跑出来的那一刻起,创作者就能继续输入新的指令。

它能做什么

边播边改的核心,是把视频生成从「抽卡」变成了「交互式创作」。用户可以根据上一秒生成的画面,实时调整光影、镜头调度或者角色动作,维持剧情的连贯发展。

Lightricks 联合创始人兼首席技术官 Yaron Inger 认为,AI 视频已经跨过了只能靠提示词猜结果的阶段,开始真正具备了长篇叙事的可控性。

官方还给出了几个很有意思的应用场景。比如游戏开发者可以根据玩家的即时操作,实时串流生成剧情过场动画;或者在增强现实演唱会中,生成能配合真人歌手节奏实时起舞的虚拟伴舞;甚至用来做根据学生反应改变画面的互动教学视频。

版权方面也是这个项目的亮点之一。模型完全基于来自 Getty Images 和 Shutterstock 的授权数据进行训练,商用时不用担心版权纠纷。

怎么跑起来与技术规格

这次更新的自回归架构被做进了两个不同体量的版本中:一个是 130 亿(13B)参数的主力版本,另一个是只有 20 亿(2B)参数的轻量版,后者专为移动端等轻量设备设计。

硬件门槛控制得相当克制。相比 OpenAI 的 Sora、Runway Gen-4 或者 Pika AI 2.1 这类只能挂在大型云端集群上跑的专有模型,LTX Video 的权重完全公开。

官方表示,13B 模型单张英伟达 H100 显卡就能在几秒内生成高分辨率视频,甚至在普通的消费级笔记本电脑上也能以较低延迟跑起来。目前模型的开放权重已经上传到 Hugging Face 和 GitHub,创作者可以直接下载微调,也可以在官方配套的 LTX Studio 编辑套件里使用。

行业分析机构 Constellation Research 分析师 Holger Mueller 指出,这种实时生成代表了 AI 正在走向「全时在线」的形态,但他也提醒,流式生成视频对性能压榨极高,后续的推理成本可能是大家需要权衡的问题。另外在功能侧,它目前还没跟进像 Google Veo 3 那样的原生音效生成能力,也没有 Moonvalley Marey 那种动作模仿机制,主攻的还是画面控制与时长。

为什么重要

我们认为,LTX Video 这次更新切中了大模型视频生成最痛的两个点:时间和可控度。以前创作者拿 AI 做短片,要把无数个 5 秒切片像拼图一样剪在一起,稍微有点走形就得整段重抽;现在能一次性拉到 60 秒,还能在中途给反馈,工作流的逻辑完全变了。

更关键的是它坚持了权重开源和单卡可跑。对于独立开发者和中小型制作团队来说,它是目前少数能直接部署在本地、拿去接游戏引擎或互动系统的长视频工具,不用被绑死在闭源平台的 API 计费账单上。如果你的项目需要交互式视频或者长镜头生成,现在很值得把它拉下来在本地跑一跑。

来源 (1)

  1. [1]
    siliconangle.com(在新标签页打开)原文siliconangle.com

每日 AI 内容精选