NVIDIA 推出影片分析智慧體藍圖:批次處理速度提升 30 倍
NVIDIA 釋出了針對影片搜尋與摘要的新版 AI 藍圖。它結合了最新的 Cosmos 視覺大模型與檢索增強框架,讓批次影片分析速度達到即時的 30 倍。最值得關注的是,智慧體支援思維鏈推理和工具呼叫,能直接接管工業質檢與安防巡查。

全球裝了超過 15 億臺企業級攝像頭,每年錄下差不多 7 萬億小時的影片。但這裡面真正有人即時盯著看的,連 1% 都不到。
這意味著絕大多數工業事故、產線缺陷、交通堵塞,甚至倉庫堆疊浪費,都在監控死角或者沒人看的錄影裡悄悄發生。製造企業每年因為沒能提前發現缺陷,要損失數萬億美元。
NVIDIA 打算把這些沉睡的錄影全喚醒。在 CES 期間,NVIDIA 宣佈開放新版影片搜尋與總結 AI Blueprint 的早期訪問許可權,專門幫開發者搭建能看懂影片的 AI Agent。
30 倍速看錄影,還能做思維鏈推理
這套 Blueprint 搭建在 NVIDIA Metropolis 平臺之上,核心是串聯了 NVIDIA 自家的全家桶:Cosmos Nemotron 視覺語言模型、Llama Nemotron 大語言模型,以及 NeMo Retriever 檢索技術。
它整合了 NVIDIA AI Enterprise 軟體平臺裡的 NIM 微服務。官方表示,這種架構下的批次影片處理速度,比人工即時盯監控快了整整 30 倍。
更關鍵的是它具備 Agent 特性,支援思維鏈推理、任務規劃和工具呼叫。也就是說,它不是簡單地給影片打標籤,而是能拆解複雜指令,甚至和其他專項 Agent 協同工作,而且支援從邊緣端一路部署到雲端。
在工廠裡,它可以細緻檢查工人的裝配動作順序是否符合標準流程,或者通過 3D 體積估算最佳化倉庫貨位,並在發生事故後自動把影片整理成事件報告。
黃仁勳拉出自己的開球錄影做演示
除了工業製造,NVIDIA 還把目光投向了體育和文娛。
在 CES 開幕演講中,黃仁勳親自做了一段演示。系統調出了他此前在舊金山巨人隊主場開球的現場影片,AI 影片分析 Agent 直接拿他的直球投球動作跟職業選手對比,逐幀分析並指出了可以改進的地方。
按 NVIDIA 的說法,全球體育市場規模達到 5000 億美元,影片分析一直是教練和球員的剛需,而這套方案能把昂貴的專業分析門檻直接打下來。
目前,埃森哲、德勤、安永、印孚瑟斯、和碩、塔塔諮詢以及 VAST 等多家全球企業和方案整合商,已經開始把這套 Blueprint 接進自己的開發流程。
為什麼重要
工業和安防攝像頭鋪了十幾年,最大的痛點從來不是「錄不下來」,而是「存了根本沒人看」。人工盯監控不僅成本高,而且極易疲勞漏檢,事後查監控又像大海撈針。
NVIDIA 這一步走得相當精明。它沒有單純去卷多模態大模型的引數,而是拿出一套把 VLM、檢索和智慧體工作流打包好的工程藍圖。對開發者和企業來說,省去了從零搭建影片檢索和推理管道的巨大成本,能直接把現成的攝像頭網路變成能即時報警、寫報告的自動化系統。
不過挑戰也很明顯。30 倍速批處理在事後分析時非常高效,但在安防和工業流水線場景下,企業最需要的是毫秒級低延遲的即時介入。從邊緣端攝像頭採集、推理再到聯動控制,端到端的算力成本和頻寬開銷依然不低,中小企業能不能用得起,還需要看實際落地後的賬本怎麼算。
來源 (1)
- blogs.nvidia.com(在新分頁開啟)原文blogs.nvidia.com