跳到正文
IFAI

AI 工具

BaoCut 解读虚拟主播原理:像皮影戏一样拆层驱动,支持接入 Agent 自动出片

首次发布 传播指数 41

BaoCut 详解了其虚拟主播的实现原理,它并非直接用 AI 生成视频,而是将单张图像拆成 27 层网格,按发音精准匹配口型做轻量驱动。用户给 Agent 安装 BaoCut skill 后,输入一句话即可自动写稿配音并剪辑出片。不过目前仅限卡通形象,且转头角度受限在 30 度以内。

图:x.com

现在做一条 AI 口播视频,最常见的路子是直接用视频生成模型硬算。画面里的真人眨眨眼、动动嘴,显卡在后台疯狂燃烧,一旦配音改一个字,整段视频就得推倒重跑。

BaoCut 换了一条完全不同的路子。它公开解读了自家虚拟主播的技术逻辑,说白了不是在「生成视频」,而是在用代码演一出精巧的现代皮影戏。

拆出二十七层,像弹簧一样驱动

这套机制的核心可以拆成三步:拆、动、说。

第一步是拆层。AI 先画出一张正面肖像,接着再修改十一次,程序通过逐像素比对差异,把人物拆分出二十七个图层。官方演示里的主播形象就由字节的 Seedream 5.5 生成。

第二步是驱动。系统把骨架、变形和弹簧逻辑移植自开源项目 LivLiv Player(采用 Apache-2.0 协议)。整张画被罩在一张网格里,推一下网就能转头,配合十七个旋钮参数控制,让头发呈现弹簧般的物理晃动。

第三步是口型匹配。它不靠音量高低来粗暴开合嘴巴,而是读取每个文字的具体读音来挑选对应嘴型,甚至让嘴型动作比声音提前 0.03 秒发生,契合人类说话的肌肉直觉。

正因为底层是基于 2D 图层和网格变形,它不需要高性能显卡实时渲染像素。如果视频改了某句配音,系统只需要重新计算嘴型数据,角色画面完全不用重新绘制。

装上 Agent,一句话自动剪片

除了底层驱动,BaoCut 还把它做成了开发工具可以调用的技能。在终端里运行一行 baocut skill install,就能把这个技能装给 Claude Code 或者 Codex 这类代码智能体。

在日常流程里,用户完全不需要手动调参。你既可以直接选用 BaoCut 内置的 19 位原创卡通主播,也可以让智能体帮你现画一个自己的形象。

自己制作形象大约需要 9 次图片生成,要求正面、睁眼、闭嘴、纯色背景,而且必须有头发。确认后智能体就会自动改图、拆层并打包成角色。

接下来只要给一句自然语言指令,比如制作一条某主题的 3 分钟讲解视频,智能体就会自动写稿、配音、算好口型,把主播摆在画面右下角并生成审片链接,确认无误后即可导出成片。

不过这套方案目前边界也很明确。它只做卡通形象,不做真人照片对口型,也不做换脸。

语言上,它对中文、英文、日文假名和韩文的口型匹配最准,其他语种依然主要依赖音量控制开合。此外,主播转头角度被限制在 30 度以内,画面里没有手,暂时也不支持光头角色。

为什么重要

对于个人创作者和独立开发者来说,这是把短视频制作成本打到地板上的一次尝试。现在的 AI 讲解视频往往陷入两难:要么用真人换脸模型,渲染巨慢且渲染成本高昂;要么用静态 PPT,画面枯燥没人看。BaoCut 证明了哪怕不依赖昂贵的视频模型算力,靠巧妙的图层工程也能做出足够生动的讲解视频。

我们认为,BaoCut 最聪明的地方在于把重心从「生成像素」转向了「驱动资产」。它没有去硬卷底层视频扩散模型的超大算力,而是借用成熟的骨骼网格与音频音素匹配,把重型计算变成了轻量的前端运动。尤其是把能力封装为 Agent skill,让编码助手直接拥有了剪辑台的操作权,把写文案、配音到合成成片整合成了一条完全自动化的流水线。

它的隐患在于表现力上限天然受制于 2D 骨骼。30 度的转头限制、缺少手势肢体语言、不支持真人以及无法处理光头,让它现阶段只能作为知识讲解、软件教程或资讯播报的辅助角标。但对很多只需要一个可爱角色在画面角落陪聊的用户来说,这种又快又省算力的方法,恰恰是目前最实用的解法。

来源 (1)

  1. [1]
    @dotey(在新标签页打开)原文x.com

每日 AI 内容精选