Hugging Face 推出 AI WebTV:用全套開源模型搭建全天候 AI 電視流
Hugging Face 釋出實驗性專案 AI WebTV。該方案用 ChatGPT 構思提示詞,串接 Zeroscope V2 生成影片短片,再經 FILM 插幀與 MusicGen 配樂,最後通過 FFmpeg 自動推流。雖然畫質和連貫性有限,但跑通了開源多模態端到端自動播出的流水線。

AI WebTV 是一個把開源多模態模型串聯起來、實現不間斷影片推流的實驗性技術演示專案。它的核心邏輯很直接:讓人類定一個基礎主題,由大語言模型擴寫成分鏡提示詞,再交給開源影片模型生成片段、平滑插幀並自動配樂,最後打包成影片流全天候推送到直播間。
自動化流水線怎麼跑起來
整個推流系統基於 Node.js 和 TypeScript 開發,各個生成模組主要託管在 Hugging Face 的 Spaces 上。
流程的第一步是劇本生成。人類輸入一個基礎概念,系統讓 ChatGPT 將其擴充套件成一串獨立影片鏡頭的提示詞,保證內容能持續生成且有變化。
影片生成的核心是開源模型 Zeroscope V2。系統採用了兩階段生成方案,第一階段用 zeroscope_v2_576 生成 576x320 解析度的基礎片段,第二階段用 zeroscope_v2_XL 進行二次放大,輸出 1024x576 的畫質。前後兩次呼叫必須使用完全相同的提示詞。
為了快速原型化,系統直接通過 npm 包 @gradio/client 遠端呼叫部署在 Space 上的 Gradio 介面,生成好的影片片段會自動拉取到本地儲存。
影片落地後進入後處理階段。為了消除畫面的卡頓感,系統引入了插幀演算法 FILM,讓畫面過渡更平滑。與此同時,系統呼叫開源音訊模型 MusicGen 生成背景音樂,並與畫面合成。
最後一步是推流播出。系統用 FFmpeg 把生成的多個 mp4 影片和 m4a 音訊組合成播放列表,以極低延遲的 FLV 格式,通過 RTMP 協議推送到 node-media-server 或 Twitch 直播入口。
效果與翻車現場
二次放大配合 FILM 插幀之後,影片畫質和流暢度有了肉眼可見的改善,但目前的開源影片模型仍有明顯的侷限。
方向理解錯誤十分常見。系統生成的畫面有時會出現倒放現象,提示詞裡設定的顏色也容易被模型直接忽略。
另一個有趣的問題是提示詞洩露。模型經常把提示詞裡的文字生硬地畫在畫面裡,比如提示詞帶有 llama 時,畫面裡不僅會出現羊駝,還會憑空浮現燃燒著的 llama 字母;提到 IMAX 或單反機型時,甚至會直接把相機本身畫在鏡頭正中。
針對這些問題,專案建議寫提示詞時要像鏡頭指令碼一樣精確,明確給出運鏡軌跡、主體朝向和運動速度;同時多鏡頭之間要儘量複用細節描述,避免畫面風格跳躍。
怎麼體驗與部署
如果你想看看實際播出的效果,可以直接訪問 Hugging Face 上的 AI WebTV Space,手機端也可以通過官方提供的 Twitch 映象流觀看。
如果你打算自己部署一套,建議把官方用到的 Zeroscope 和 MusicGen 等 Gradio Spaces 複製到自己的賬號下執行,因為公共 Space 很容易出現排隊擁堵甚至被暫停服務。
為什麼重要
AI WebTV 最值得看的地方,在於它證明了只用社群現有的開源元件,就能跑通一整套無人值守的端到端內容生成與播出流。對於想探索自動化短影片製作、互動直播間或生成式媒體實驗的開發者來說,這是一套非常實用的參考架構。
不過就目前而言,它依然是一次純粹的技術概念驗證。生成的片段時長短、缺乏嚴密的劇情編排,算力開銷也不小,距離真正具備觀賞性的虛擬電視臺還有很長一段路要走。
來源 (1)
- huggingface.co(在新分頁開啟)原文huggingface.co