跳到正文
IFAI

AIGC

Pika 上线 Lip Sync 功能:接入 ElevenLabs,AI 角色开口能对上口型

首次发布 传播指数 50

Pika 推出 Lip Sync 功能,接入 ElevenLabs 提供配音,让视频角色的嘴型能与台词同步。它支持文本转语音或上传音频,省去了繁琐的后期外挂工具。不过该功能目前仅限 Pika Pro 付费用户和受邀测试者使用。

Pika 上线 Lip Sync 功能:接入 ElevenLabs,AI 角色开口能对上口型
图:x.com

看多了 AI 生成的视频,你大概早就发现了一个尴尬的秘密:画面里的角色要么闭嘴扮酷,要么像哑剧演员一样干瞪眼。只要一张嘴说话,画风立刻崩成搞笑片。

AI 视频生成平台 Pika 宣布推出一项名为 Lip Sync 的新功能,试图打破这个僵局。他们拉来了生成式音频领域的独角兽 ElevenLabs 合作,直接在视频生成流程里把对口型这件事给办了。

简单来说,你生成的 AI 角色现在能正常开口说话了,而且嘴型能对得上声音。你可以直接敲下一段台词让 ElevenLabs 生成语音,也可以自己录一段音频传上去,角色嘴部动作会跟着台词的节奏自然开合,连音色和说话风格也能随意调整。

不过这项功能目前还在早期访问阶段,门槛一点也不低。用户要么得订阅 Pika Pro,按年付费折合每月 58 美元,一次性得掏 696 美元;要么就得是 Pika 在 Discord 社区里定向邀请的 Super Collaborators 成员。

告别五毛钱特效的草台班子

在此之前,想要让 AI 视频角色开口说话,创作者的痛苦指数相当高。

你得先把画面导出来,扔进第三方口型匹配工具里反复折腾,再拿去剪辑软件里手动微调音画同步。最后折腾出来的成品,往往带着浓浓的五毛钱劣质感,像极了古早的《蒙提·派森》剪纸恶搞短剧。

Pika 这次直接把对口型做成了原生功能,等于把叙事类短剧和微电影制作中最耗时间的一道坎给平掉了。虽然单论画面质感和物理世界的逼真度,Pika 相比 OpenAI 惊艳众人的 Sora 甚至对手 Runway 还有差距,但在满足连贯叙事这条路上,它反而抢先跑出了一步。

同行的动作同样很快。就在同一周,Runway 也升级了自己的 Multi Motion Brush 功能,在原本支持对五个不同物体添加独立运动方向的基础上,加入了区域自动检测功能,创作者不用再拿笔刷费劲涂抹了。相比之下,Pika 虽然支持扩图和局部编辑,但还没做出类似的高精度笔刷,在运动控制的细腻程度上稍逊一筹。

争议也随之而来。AI 认证机构 Fairly Trained 创始人、前 Stability AI 音频副总裁 Ed Newton-Rex 就在 X 上直接向 Pika 发难,公开质问他们的视频模型到底是用什么数据训练出来的。而在好莱坞,名导 Tyler Perry 甚至在看到 Sora 的演示后直接叫停了价值 8 亿美元的制片厂扩建计划,整个影视行业对饭碗的焦虑正在迅速蔓延。

为什么重要

我们认为,Pika 这一步走得相当务实,甚至比单纯卷画质更切中当下的创作痛点。

对内容创作者和独立开发者来说,Sora 再强大也依然被 OpenAI 锁在实验室里,只能看演示流口水。而 Pika 的 Lip Sync 是一个活生生、能立即嵌进工作流的生产力工具。对于想做 AI 漫剧、短视频剧情账号或者商业解说视频的团队,它把以前需要跨两三个软件才能完成的多人对话场景,压缩成了输入文字就能生成的日常操作。唯一让人犹豫的是每年 696 美元的高昂门槛,如果不是靠视频直接变现的重度创作者,现在掏这笔钱确实有点肉疼。

在行业竞争上,这标志着 AI 视频工具的竞争焦点正在从单帧画面的静态美学转向多模态生产工具链的整合。视频不能只有画面,声音、对白和表情的协同才是影视语言的本质。Pika 聪明的地方在于没有自己硬造语音轮子,而是直接接入业界标杆 ElevenLabs,用成熟生态来补全自己的短板。

但这里的隐患也显而易见。首先是外部依赖度高,核心的声音资产并非自研;其次是数据版权这颗定时炸弹始终悬在头顶,行业质疑声越大,未来商业化落地时面临的合规阻力就越重。不过无论如何,AI 角色哑巴演戏的时代,看起来终于要画上句号了。

来源 (2)

  1. [1]
    @pika_labs(在新标签页打开)原文twitter.com
  2. [2]

每日 AI 内容精选