跳到正文
IFAI

AIGC

Prime Video 引入 AI 唇形同步:配音剧告别对不上嘴

首次发布 传播指数 36

Prime Video 推出 AI 唇形同步配音技术,利用 AI 和视觉特效让演员嘴型与真人配音音轨对齐。该功能现已在全球面向热门剧集《Maxton Hall》前两季的英语配音开放,12 月 9 日第三季上线时也将支持,未来计划覆盖更多影视内容。

Prime Video 引入 AI 唇形同步:配音剧告别对不上嘴
图:aboutamazon.com

看外语片最出戏的瞬间,莫过于声音明明停了,屏幕上演员的嘴巴还在一张一合。

这种传统配音里几十年的老毛病,亚马逊打算用技术彻底抹平。Prime Video 正式推出了一项基于 AI 与视觉特效(VFX)的对口型配音技术。

这项技术率先落地在亚马逊有史以来观看人数最多的国际原创剧集《麦克斯顿庄园》(Maxton Hall)上。

嘴型跟着真人配音走

很多人一听 AI 配音,以为是让算法合成声音,但亚马逊这次的做法不太一样。

这套系统保留了专业配音演员录制的人类音频,而是通过后端的 AI 与 VFX 技术,去直接调整屏幕上演员的面部口型,让嘴部动作完全贴合英语发音。

说白了,声音还是真人配的,但演员在画面里的嘴型被 AI 重新修了一遍,就像他们当年原本就是用英语说台词一样。

目前《麦克斯顿庄园》第一季和第二季已经面向全球用户上线了这套英语对口型版本。

根据官方公布的安排,该剧改编自莫娜·卡斯滕 2018 年小说《Save Me》的第三季兼最终季,将在 12 月 9 日独家上线,届时也会直接搭载这项功能。

Prime Video 和亚马逊米高梅工作室的技术副总裁 Raf Soltanovich 表示,这项技术是在创意人员的监督下推进的,未来亚马逊还计划把对口型技术推广到更多影视剧目中。

为什么重要

我们认为,亚马逊这次切入 AI 影视应用的角度非常聪明。

此前好莱坞演员工会对 AI 的抵触很大一部分集中在两点:一是怕声音被算法盗用,二是怕合成角色抢了真人演员的饭碗。

亚马逊没有去卷端到端的全 AI 生成音频,而是让 AI 给人类配音员当绿叶,只负责修嘴型。这种折中做法在当下的影视行业里阻力要小得多,既照顾了配音演员的饭碗,又保住了原剧演员的表演细节。

对普通观众来说,最大的价值在于消除了看外语本土剧的隔阂感。以前许多人不爱看小语种高分剧,纯粹是因为配音对不上口型让人浑身难受,只能硬看字幕。现在用英语对上口型后,追剧门槛直接抹平了。

但这里面并非没有隐患。通过算法改变演员的真实面部肌肉和口型,本质上是对原始表演的一种微操修改,长远来看,如何界定原片演员的表演版权和艺术真实性,依然是一个微妙的灰色地带。

看起来,流媒体巨头之间的本土内容出海战,已经从比拼翻译字幕的准确度,进入到了用 AI 无感改写视听体验的深水区。

来源 (1)

  1. [1]
    aboutamazon.com(在新标签页打开)原文aboutamazon.com

每日 AI 内容精选