Twelve Labs 接入 Frame.io V4:右键用自然语言搜空镜、查违规
Twelve Labs 宣布将其 Marengo 和 Pegasus 视频大模型接入 Adobe 旗下的 Frame.io V4。剪辑团队在界面内右键就能用自然语言语义搜素材、以图搜视频、自动打标签,并在违规片段处自动打上带时间戳的批注。
如果你做过视频剪辑或后期审片,大概都有过这种痛苦经历:为了找一段「无人机拍的海岸线大景」或者某个人笑场的花絮,得在几百个无名素材里一帧一帧拖动进度条。
视频 AI 公司 Twelve Labs 宣布将自家的视频理解模型接入了 Adobe 旗下的 Frame.io V4。
剪辑师和制作者不用跳出 Frame.io,也不用重新下载素材,直接点右键就能用自然语言搜视频、自动打标签,甚至抓违规镜头。
右键一下,把素材库变成搜索引擎
这次整合能跑通,核心是借助了 Frame.io V4 推出的 Custom Actions 和自定义元数据字段。
Twelve Labs 把自己的两个基座模型搬了进来:Marengo 2.7 和 Pegasus 1.2。
其中 Marengo 2.7 负责把视频、音频和文本转换成向量嵌入,让整个视频库支持语义级检索。你想找镜头,不用依赖以前人工填写的标签,直接打一句「无人机航拍海岸线」,系统就能抓出来。
它还支持以图搜视频。上传一张静止参考图,算法就能在素材库里找出色调、构图或场景匹配的备用镜头或 B-roll。
Pegasus 1.2 则负责看懂上下文并生成文本。它不光能识别画面里有桌子、有人,还能理解故事脉络和情绪基调,自动把摘要、标签和主题写回 Frame.io 的属性栏里。
团队还能用它做合规审查。一旦发现违反品牌规范或监管要求的内容,AI 会直接在 Frame.io 的时间轴评论区留下带精确时间戳的批注。
为什么重要
我们认为,Twelve Labs 这一步走得相当务实,切中了专业影视和广告制作最麻烦的痛点。
以往很多视频大模型都执着于在自己的网页端做演示,但真正的后期团队每天都泡在 Frame.io 和剪辑软件里,根本不想频繁导素材换网页。直接以右键插件的形式嵌入工业级流程,几乎没有迁移成本。
对中大型制作公司和企业内容团队来说,这能省下海量的人工打标和翻素材时间。特别是找备用素材和处理版权合规,过去都是极度耗费人力的脏活累活。
不过,这种工作流在实际落地时也要面对成本问题。视频多模态索引和 Pegasus 这种大模型的推理成本不低,如果对几千小时的成片和原始素材进行全量扫描,中小团队的算力或 API 账单可能会迅速攀升。
但整体来看,随着 Frame.io 成为 Adobe 生态中的枢纽,将深层视频理解能力直接固化在资产管理中,看起来会迫使其他视频审片工具加速跟进这类 AI 原生功能。
来源 (1)
- twelvelabs.io(在新标签页打开)原文twelvelabs.io