跳到正文
IFAI

开源项目

Hugging Face 推出 AI WebTV:用全套开源模型搭建全天候 AI 电视流

首次发布 传播指数 46

Hugging Face 发布实验性项目 AI WebTV。该方案用 ChatGPT 构思提示词,串接 Zeroscope V2 生成视频短片,再经 FILM 插帧与 MusicGen 配乐,最后通过 FFmpeg 自动推流。虽然画质和连贯性有限,但跑通了开源多模态端到端自动播出的流水线。

Hugging Face 推出 AI WebTV:用全套开源模型搭建全天候 AI 电视流
图:huggingface.co

AI WebTV 是一个把开源多模态模型串联起来、实现不间断视频推流的实验性技术演示项目。它的核心逻辑很直接:让人类定一个基础主题,由大语言模型扩写成分镜提示词,再交给开源视频模型生成片段、平滑插帧并自动配乐,最后打包成视频流全天候推送到直播间。

自动化流水线怎么跑起来

整个推流系统基于 Node.js 和 TypeScript 开发,各个生成模块主要托管在 Hugging Face 的 Spaces 上。

流程的第一步是剧本生成。人类输入一个基础概念,系统让 ChatGPT 将其扩展成一串独立视频镜头的提示词,保证内容能持续生成且有变化。

视频生成的核心是开源模型 Zeroscope V2。系统采用了两阶段生成方案,第一阶段用 zeroscope_v2_576 生成 576x320 分辨率的基础片段,第二阶段用 zeroscope_v2_XL 进行二次放大,输出 1024x576 的画质。前后两次调用必须使用完全相同的提示词。

为了快速原型化,系统直接通过 npm 包 @gradio/client 远程调用部署在 Space 上的 Gradio 接口,生成好的视频片段会自动拉取到本地存储。

视频落地后进入后处理阶段。为了消除画面的卡顿感,系统引入了插帧算法 FILM,让画面过渡更平滑。与此同时,系统调用开源音频模型 MusicGen 生成背景音乐,并与画面合成。

最后一步是推流播出。系统用 FFmpeg 把生成的多个 mp4 视频和 m4a 音频组合成播放列表,以极低延迟的 FLV 格式,通过 RTMP 协议推送到 node-media-server 或 Twitch 直播入口。

效果与翻车现场

二次放大配合 FILM 插帧之后,视频画质和流畅度有了肉眼可见的改善,但目前的开源视频模型仍有明显的局限。

方向理解错误十分常见。系统生成的画面有时会出现倒放现象,提示词里设定的颜色也容易被模型直接忽略。

另一个有趣的问题是提示词泄露。模型经常把提示词里的文字生硬地画在画面里,比如提示词带有 llama 时,画面里不仅会出现羊驼,还会凭空浮现燃烧着的 llama 字母;提到 IMAX 或单反机型时,甚至会直接把相机本身画在镜头正中。

针对这些问题,项目建议写提示词时要像镜头脚本一样精确,明确给出运镜轨迹、主体朝向和运动速度;同时多镜头之间要尽量复用细节描述,避免画面风格跳跃。

怎么体验与部署

如果你想看看实际播出的效果,可以直接访问 Hugging Face 上的 AI WebTV Space,手机端也可以通过官方提供的 Twitch 镜像流观看。

如果你打算自己部署一套,建议把官方用到的 Zeroscope 和 MusicGen 等 Gradio Spaces 复制到自己的账号下运行,因为公共 Space 很容易出现排队拥堵甚至被暂停服务。

为什么重要

AI WebTV 最值得看的地方,在于它证明了只用社区现有的开源组件,就能跑通一整套无人值守的端到端内容生成与播出流。对于想探索自动化短视频制作、互动直播间或生成式媒体实验的开发者来说,这是一套非常实用的参考架构。

不过就目前而言,它依然是一次纯粹的技术概念验证。生成的片段时长短、缺乏严密的剧情编排,算力开销也不小,距离真正具备观赏性的虚拟电视台还有很长一段路要走。

来源 (1)

  1. [1]
    huggingface.co(在新标签页打开)原文huggingface.co

每日 AI 内容精选