Twelve Labs 推出 Pegasus-1：直接看懂长视频并生成文本

想让 AI 看懂一段视频，主流大厂的做法其实有点笨：把视频拆成成千上万张静态截图，再一张张塞给视觉模型，或者只把里面的声音转成文字。

这种偷懒的解法看十几秒的短视频还行，遇到十几分钟甚至几小时的长视频，算力成本直接起飞，而且画面里的动作连贯性和背景声全被漏掉了。

专注于多模态视频理解的初创公司 Twelve Labs 拿出了一个新思路。他们正式发布了参数规模约 800 亿（80B）的视频语言基础模型 Pegasus-1，并上线了一整套视频转文本的生成接口。

把视频当视频看，而不是当一堆图片看

Twelve Labs 坚持的是所谓「视频优先」的路线。他们认为视频不是简单的图片叠放，而是视觉画面、连续动作、环境声音和人物台词揉在一起的整体。

Pegasus-1 的架构主要由三部分拼成：底层的视频编码器来自他们自研的 Marengo 嵌入模型，中间是视频与语言的对齐模型，最后接上一个大语言模型作为解码器。官方暂时没有公开这三部分各自占了多少参数。

把视觉和音频完全打通之后，Pegasus-1 就能在单个 API 调用里，直接理解整段长视频的上下文，并在视频摘要基准测试中刷新了业界最高分。

为了方便开发者落地，他们这次直接拿出了三套接口。

Gist API 不需要写任何提示词，扔进去视频就能直接吐出标题、主题和相关的标签列表。

Summary API 同样是开箱即用，专门负责给长视频划分章节、梳理核心摘要，甚至抓出精彩看点。

如果你有更定制化的需求，还有一个实验性质的 Generate API，允许开发者通过自由提示词，让模型按指定格式输出内容，从排版好的报告、条列要点，到按照视频剧情写歌词都能办到。

为什么重要

我们认为，Twelve Labs 这一步踩得很准。现在的多模态大模型虽然热闹，但多数产品在处理视频时都在投机取巧，要么抽帧导致丢帧丢上下文，要么纯靠字幕理解，一旦视频里有人在无声操作电脑或展示实物，传统方案就彻底瞎了。

对开发者和内容平台来说，Pegasus-1 的实用价值非常直接。做长视频剪辑、播客切片、网课打点或安防监控检索的团队，再也不用自己写一套抽帧加转录的复杂流水线，调一个接口就能把几小时的视频整理出结构化章节和重点。这能省下大笔自建基础设施的研发与推理成本。

不过隐患也同样摆在眼前。80B 的体量并不算小，视频的多模态计算又是出了名的算力黑洞。Twelve Labs 既然把整体参数做到了这个规模，后续 API 的计费门槛和响应延迟会是它能否规模化落地的关键。

看起来，多模态的竞争正在从早期的图文互吹，快速卷向视频原生理解。如果通用大模型厂商后续不拿出原生视频架构，在长视频这个专业场景里，很可能会被这类垂直专精的团队甩在身后。