BaoCut 解讀虛擬主播原理:像皮影戲一樣拆層驅動,支援接入 Agent 自動出片
BaoCut 詳解了其虛擬主播的實現原理,它並非直接用 AI 生成影片,而是將單張影像拆成 27 層網格,按發音精準匹配口型做輕量驅動。使用者給 Agent 安裝 BaoCut skill 後,輸入一句話即可自動寫稿配音並剪輯出片。不過目前僅限卡通形象,且轉頭角度受限在 30 度以內。
現在做一條 AI 口播影片,最常見的路子是直接用影片生成模型硬算。畫面裡的真人眨眨眼、動動嘴,顯示卡在後臺瘋狂燃燒,一旦配音改一個字,整段影片就得推倒重跑。
BaoCut 換了一條完全不同的路子。它公開解讀了自家虛擬主播的技術邏輯,說白了不是在「生成影片」,而是在用程式碼演一齣精巧的現代皮影戲。
拆出二十七層,像彈簧一樣驅動
這套機制的核心可以拆成三步:拆、動、說。
第一步是拆層。AI 先畫出一張正面肖像,接著再修改十一次,程式通過逐畫素比對差異,把人物拆分出二十七個圖層。官方演示裡的主播形象就由位元組的 Seedream 5.5 生成。
第二步是驅動。系統把骨架、變形和彈簧邏輯移植自開源專案 LivLiv Player(採用 Apache-2.0 協議)。整張畫被罩在一張網格里,推一下網就能轉頭,配合十七個旋鈕引數控制,讓頭髮呈現彈簧般的物理晃動。
第三步是口型匹配。它不靠音量高低來粗暴開合嘴巴,而是讀取每個文字的具體讀音來挑選對應嘴型,甚至讓嘴型動作比聲音提前 0.03 秒發生,契合人類說話的肌肉直覺。
正因為底層是基於 2D 圖層和網格變形,它不需要高效能顯示卡即時渲染畫素。如果影片改了某句配音,系統只需要重新計算嘴型資料,角色畫面完全不用重新繪製。
裝上 Agent,一句話自動剪片
除了底層驅動,BaoCut 還把它做成了開發工具可以呼叫的技能。在終端裡執行一行 baocut skill install,就能把這個技能裝給 Claude Code 或者 Codex 這類程式碼智慧體。
在日常流程裡,使用者完全不需要手動調參。你既可以直接選用 BaoCut 內建的 19 位原創卡通主播,也可以讓智慧體幫你現畫一個自己的形象。
自己製作形象大約需要 9 次圖片生成,要求正面、睜眼、閉嘴、純色背景,而且必須有頭髮。確認後智慧體就會自動改圖、拆層並打包成角色。
接下來只要給一句自然語言指令,比如製作一條某主題的 3 分鐘講解影片,智慧體就會自動寫稿、配音、算好口型,把主播擺在畫面右下角並生成審片連結,確認無誤後即可匯出成片。
不過這套方案目前邊界也很明確。它只做卡通形象,不做真人照片對口型,也不做換臉。
語言上,它對中文、英文、日文假名和韓文的口型匹配最準,其他語種依然主要依賴音量控制開合。此外,主播轉頭角度被限制在 30 度以內,畫面裡沒有手,暫時也不支援光頭角色。
為什麼重要
對於個人創作者和獨立開發者來說,這是把短影片製作成本打到地板上的一次嘗試。現在的 AI 講解影片往往陷入兩難:要麼用真人換臉模型,渲染巨慢且渲染成本高昂;要麼用靜態 PPT,畫面枯燥沒人看。BaoCut 證明了哪怕不依賴昂貴的影片模型算力,靠巧妙的圖層工程也能做出足夠生動的講解影片。
我們認為,BaoCut 最聰明的地方在於把重心從「生成畫素」轉向了「驅動資產」。它沒有去硬卷底層影片擴散模型的超大算力,而是借用成熟的骨骼網格與音訊音素匹配,把重型計算變成了輕量的前端運動。尤其是把能力封裝為 Agent skill,讓編碼助手直接擁有了剪輯臺的操作權,把寫文案、配音到合成成片整合成了一條完全自動化的流水線。
它的隱患在於表現力上限天然受制於 2D 骨骼。30 度的轉頭限制、缺少手勢肢體語言、不支援真人以及無法處理光頭,讓它現階段只能作為知識講解、軟體教程或資訊播報的輔助角標。但對很多隻需要一個可愛角色在畫面角落陪聊的使用者來說,這種又快又省算力的方法,恰恰是目前最實用的解法。
來源 (1)
- @dotey(在新分頁開啟)原文x.com