Twelve Labs 推出 Pegasus-1：直接看懂長影片並生成文本

想讓 AI 看懂一段影片，主流大廠的做法其實有點笨：把影片拆成成千上萬張靜態截圖，再一張張塞給視覺模型，或者只把裡面的聲音轉成文字。

這種偷懶的解法看十幾秒的短影片還行，遇到十幾分鍾甚至幾小時的長影片，算力成本直接起飛，而且畫面裡的動作連貫性和背景聲全被漏掉了。

專注於多模態影片理解的初創公司 Twelve Labs 拿出了一個新思路。他們正式釋出了引數規模約 800 億（80B）的影片語言基礎模型 Pegasus-1，並上線了一整套影片轉文本的生成介面。

把影片當影片看，而不是當一堆圖片看

Twelve Labs 堅持的是所謂「影片優先」的路線。他們認為影片不是簡單的圖片疊放，而是視覺畫面、連續動作、環境聲音和人物臺詞揉在一起的整體。

Pegasus-1 的架構主要由三部分拼成：底層的影片編碼器來自他們自研的 Marengo 嵌入模型，中間是影片與語言的對齊模型，最後接上一個大語言模型作為解碼器。官方暫時沒有公開這三部分各自佔了多少引數。

把視覺和音訊完全打通之後，Pegasus-1 就能在單個 API 呼叫裡，直接理解整段長影片的上下文，並在影片摘要基準測試中重新整理了業界最高分。

為了方便開發者落地，他們這次直接拿出了三套介面。

Gist API 不需要寫任何提示詞，扔進去影片就能直接吐出標題、主題和相關的標籤列表。

Summary API 同樣是開箱即用，專門負責給長影片劃分章節、梳理核心摘要，甚至抓出精彩看點。

如果你有更定製化的需求，還有一個實驗性質的 Generate API，允許開發者通過自由提示詞，讓模型按指定格式輸出內容，從排版好的報告、條列要點，到按照影片劇情寫歌詞都能辦到。

為什麼重要

我們認為，Twelve Labs 這一步踩得很準。現在的多模態大模型雖然熱鬧，但多數產品在處理影片時都在投機取巧，要麼抽幀導致丟幀丟上下文，要麼純靠字幕理解，一旦影片裡有人在無聲操作電腦或展示實物，傳統方案就徹底瞎了。

對開發者和內容平臺來說，Pegasus-1 的實用價值非常直接。做長影片剪輯、播客切片、網課打點或安防監控檢索的團隊，再也不用自己寫一套抽幀加轉錄的複雜流水線，調一個介面就能把幾小時的影片整理出結構化章節和重點。這能省下大筆自建基礎設施的研發與推理成本。

不過隱患也同樣擺在眼前。80B 的體量並不算小，影片的多模態計算又是出了名的算力黑洞。Twelve Labs 既然把整體引數做到了這個規模，後續 API 的計費門檻和響應延遲會是它能否規模化落地的關鍵。

看起來，多模態的競爭正在從早期的圖文互吹，快速卷向影片原生理解。如果通用大模型廠商後續不拿出原生影片架構，在長影片這個專業場景裡，很可能會被這類垂直專精的團隊甩在身後。