跳到正文
IFAI

AI工具

Meta 升级 Reels 翻译工具:用创作者原声自动配音,连口型也能对上

首次发布 传播指数 46

Meta 扩大 Reels 的 AI 翻译工具权限,能自动为短视频配音并同步口型。系统会保留创作者本人的音色与语调,首批支持英西互译。目前向粉丝超 1000 人的 Facebook 创作者及 Instagram 公开账号开放。

Meta 升级 Reels 翻译工具:用创作者原声自动配音,连口型也能对上
图:creators.facebook.com

如果你刷短视频时,看到一个外国创作者操着一口流利的西班牙语和你打招呼,连口型都严丝合缝,先别急着佩服对方的语言天赋。这大概率不是他真的学会了新外语,而是 AI 替他把嘴皮子给换了。

Meta 宣布扩大旗下 Reels 短视频的 AI 翻译工具权限。这项免费功能不仅能把创作者的视频自动配音成另一种语言,还能模仿创作者本人的声线和语调,甚至连嘴型动作都会被 AI 重新修饰,达到音画同步的效果。

目前该功能面向粉丝数达到 1000 人以上的 Facebook 创作者,以及 Instagram 上的所有公开账号开放,首批支持英语和西班牙语的双向互译。

偷换口型,但保留你自己的声音

短视频出海最大的难题从来不是字幕,而是文化隔阂和生硬的机翻配音。以前配音要么找专业声优,要么用冷冰冰的机械音,观众一听就出戏。

Meta 这次拿出的方案抓住了两个痛点:声音克隆和对口型。开启功能后,系统会直接提取创作者说话时的音色和语气习惯,生成对应语言的音频,让西语版本听起来依然像创作者本人在说话。

更绝的是口型同步功能。AI 会识别并重绘创作者的嘴部肌肉运动,让画面看起来就像是你本人真的在用西班牙语对着镜头侃侃而谈。

整个操作流程被集成在发布界面里。创作者在发 Reels 之前,勾选「用 Meta AI 翻译你的声音」即可开启配音,还能顺便勾选是否同步口型。为了防止 AI 胡说八道,Meta 也留了后悔药:你可以选择发布前人工审核,在专业后台确认无误后再上线。就算你把翻译版本删了,原视频也不会受到任何影响。

从自动生成到支持上传 20 轨原声

视频发布后,Facebook 和 Instagram 会根据观众的系统语言偏好,自动推送对应的翻译版本,并在画面上打上 Meta AI 翻译的提示标签。如果观众不想看翻译,也可以随时在菜单里关掉。

创作者后台还新增了按语言细分的播放数据分析,哪些语言的受众在看你的视频一目了然。

想要效果好,Meta 也给出了几条拍摄建议:最好是对着镜头正面说话,嘴别被手挡住,最多支持两位出镜者,而且两个人最好别同时抢话,背景音乐和噪音也得尽量压低。

除了这套全自动 AI 方案,Meta 还给专业团队留了一条路:如果你已经有自己的本地化配音团队,现在可以在 Facebook 页面为单个 Reel 最多上传 20 条自己录制的配音频道,让受众各取所需。

为什么重要

对于个人创作者和小团队来说,这几乎是一键敲开了跨国分发的大门。以往做多语言内容需要找翻译、找配音、重新剪辑,成本高到普通人根本无法承受。现在只要对着镜头说母语,就能顺手把内容卖给数亿英语或西语人口,门槛直接被踩平了。

从平台竞争来看,Meta 这一步走得相当务实。短视频的增长红利已经见顶,TikTok 和 YouTube Shorts 都在抢全球流量。Meta 拥有横跨欧美和拉美的庞大用户底盘,用 AI 打通英语和西语这两个体量最大的语言圈,能让存量内容在不同地域间瞬间二次变现,直接拉长内容消费时长。

不过,我们认为这也带来了一些隐忧。虽然平台打了 AI 标识,但声音克隆加口型同步的技术本质上就是深度伪造的合规应用。如果创作者原声被滥用或生成了带有歧视性的翻译,信任危机很快就会爆发。眼下英西互译只是第一步,等到后续更多小语种上线,AI 能否准确拿捏各地的俚语和语境,才是决定它能不能从尝鲜玩具变成生产力工具的关键。

来源 (2)

  1. [1]
    creators.facebook.com(在新标签页打开)原文creators.facebook.com
  2. [2]

每日 AI 内容精选