Meta 推出 Movie Gen:30B 视频与 13B 音频模型,支持精准编辑与个性化生成
Meta 推出多媒体基础模型 Movie Gen。它包含 300 亿参数的视频模型与 130 亿参数的音频模型,不仅能文生音视频,还支持局部增删替换等精准编辑,并能基于单张照片生成定制人物视频。目前该模型正处于创作者测试阶段,尚未公开发布。
玩过 AI 生成视频的人大概都有体会:画面虽然炫酷,但往往是一部无声默片,要是想给主角换件衣服或者改个背景,常常得推倒重来,抽卡抽到崩溃。
Meta 发布了一套名为 Movie Gen 的多媒体基础模型,试图把视频生成、精细编辑、角色保持和自动配音一口气全部打包解决。
这次亮相的核心是两个模型。负责画面的是拥有 300 亿参数的 Movie Gen Video,它基于 Transformer 架构,只要输入一句文本提示词,就能生成支持多种宽高比的高清长视频,Meta 表示这在业内属于首次。
负责声音的则是 1300 亿参数还是 130 亿?官方明确是 130 亿参数的 Movie Gen Audio。这个模型能读取视频画面,并结合可选的文本提示词,自动生成与画面精准同步的拟音、环境音以及器乐背景音乐,把音视频对齐做到了前沿水平。
能精准修细节,还能拿单张照片演主角
除了常规的文生视频,Movie Gen 最引人注目的地方在于它对已有视频的控制力。
传统的 AI 视频工具很难做到局部微调,而 Movie Gen 支持精确视频编辑。用户无论是输入自己拍摄的视频还是 AI 生成的片段,都可以直接通过文本指令进行局部修改,比如在画面里增加、移除或替换某个特定物体。当然,想整体更换背景或艺术风格,也同样是一句话的事。
另一个亮点是个性化视频生成。用户只需要上传一张个人的真实照片,加上一段文本描述,模型就能生成以该人物为主角的视频。Meta 强调,该模型在保持人物面部特征与自然动态方面取得了业内领先的效果。
为了检验这套工具在专业领域的表现,Meta 找来了知名制作公司 Blumhouse 合作,邀请多位专业导演提前体验。曾执导《网络谜踪》的导演 Aneesh Chaganty 还专门用 Movie Gen 制作了一支名为《i h8 ai》的短片,从专业创作者的视角测试这套工具的边界。
为什么重要
我们认为,Meta 这次展示 Movie Gen,其实是给当前还在卷画面分辨率的 AI 视频赛道换了个竞争维度。
过去大半年的 AI 视频工具,各家都在拼谁生成的画面更逼真,但实际工作流极其割裂:先在视频模型里生成画面,再导出到音频工具里找音效,如果遇到穿帮镜头,唯一的办法就是重新抽卡。Movie Gen 聪明的地方在于,它把音效生成、局部修改和角色一致性做成了一个闭环,直击视频创作者在剪辑台上的真实痛点。
对于创作者而言,如果这项技术能落地,普通人也能用自然语言完成调色、换景和加音效等专业后期工作,门槛被大幅拉低。影视团队则可以用它快速制作动态分镜和概念预览。
不过,目前 Movie Gen 还处于研究阶段,Meta 仅表示在结合专业反馈推进后续的潜在发布计划。考虑到 300 亿参数的视频模型加上 130 亿参数的音频模型,其背后的算力成本和推理开销注定极其高昂。普通用户短期内恐怕很难随时随地用上,它最终是以独立工具推出,还是缩水后塞进 Meta 旗下的社交软件里,依然有待观察。
来源 (2)
- @AIatMeta(在新标签页打开)原文twitter.com
- ai.meta.com(在新标签页打开)报道ai.meta.com