跳到正文
IFAI

AI工具

NVIDIA 推出影片分析智慧體藍圖:批次處理速度提升 30 倍

首次發布 傳播指數 34

NVIDIA 釋出了針對影片搜尋與摘要的新版 AI 藍圖。它結合了最新的 Cosmos 視覺大模型與檢索增強框架,讓批次影片分析速度達到即時的 30 倍。最值得關注的是,智慧體支援思維鏈推理和工具呼叫,能直接接管工業質檢與安防巡查。

NVIDIA 推出影片分析智慧體藍圖:批次處理速度提升 30 倍
圖:blogs.nvidia.com

全球裝了超過 15 億臺企業級攝像頭,每年錄下差不多 7 萬億小時的影片。但這裡面真正有人即時盯著看的,連 1% 都不到。

這意味著絕大多數工業事故、產線缺陷、交通堵塞,甚至倉庫堆疊浪費,都在監控死角或者沒人看的錄影裡悄悄發生。製造企業每年因為沒能提前發現缺陷,要損失數萬億美元。

NVIDIA 打算把這些沉睡的錄影全喚醒。在 CES 期間,NVIDIA 宣佈開放新版影片搜尋與總結 AI Blueprint 的早期訪問許可權,專門幫開發者搭建能看懂影片的 AI Agent。

30 倍速看錄影,還能做思維鏈推理

這套 Blueprint 搭建在 NVIDIA Metropolis 平臺之上,核心是串聯了 NVIDIA 自家的全家桶:Cosmos Nemotron 視覺語言模型、Llama Nemotron 大語言模型,以及 NeMo Retriever 檢索技術。

它整合了 NVIDIA AI Enterprise 軟體平臺裡的 NIM 微服務。官方表示,這種架構下的批次影片處理速度,比人工即時盯監控快了整整 30 倍。

更關鍵的是它具備 Agent 特性,支援思維鏈推理、任務規劃和工具呼叫。也就是說,它不是簡單地給影片打標籤,而是能拆解複雜指令,甚至和其他專項 Agent 協同工作,而且支援從邊緣端一路部署到雲端。

在工廠裡,它可以細緻檢查工人的裝配動作順序是否符合標準流程,或者通過 3D 體積估算最佳化倉庫貨位,並在發生事故後自動把影片整理成事件報告。

黃仁勳拉出自己的開球錄影做演示

除了工業製造,NVIDIA 還把目光投向了體育和文娛。

在 CES 開幕演講中,黃仁勳親自做了一段演示。系統調出了他此前在舊金山巨人隊主場開球的現場影片,AI 影片分析 Agent 直接拿他的直球投球動作跟職業選手對比,逐幀分析並指出了可以改進的地方。

按 NVIDIA 的說法,全球體育市場規模達到 5000 億美元,影片分析一直是教練和球員的剛需,而這套方案能把昂貴的專業分析門檻直接打下來。

目前,埃森哲、德勤、安永、印孚瑟斯、和碩、塔塔諮詢以及 VAST 等多家全球企業和方案整合商,已經開始把這套 Blueprint 接進自己的開發流程。

為什麼重要

工業和安防攝像頭鋪了十幾年,最大的痛點從來不是「錄不下來」,而是「存了根本沒人看」。人工盯監控不僅成本高,而且極易疲勞漏檢,事後查監控又像大海撈針。

NVIDIA 這一步走得相當精明。它沒有單純去卷多模態大模型的引數,而是拿出一套把 VLM、檢索和智慧體工作流打包好的工程藍圖。對開發者和企業來說,省去了從零搭建影片檢索和推理管道的巨大成本,能直接把現成的攝像頭網路變成能即時報警、寫報告的自動化系統。

不過挑戰也很明顯。30 倍速批處理在事後分析時非常高效,但在安防和工業流水線場景下,企業最需要的是毫秒級低延遲的即時介入。從邊緣端攝像頭採集、推理再到聯動控制,端到端的算力成本和頻寬開銷依然不低,中小企業能不能用得起,還需要看實際落地後的賬本怎麼算。

來源 (1)

  1. [1]
    blogs.nvidia.com(在新分頁開啟)原文blogs.nvidia.com

話題追蹤NVIDIA Blueprints

這個話題的歷次新聞,最新的在上面。

  1. NVIDIA 把 NIM 搬上本地 PC:搭配 RTX 50 系列 FP4 算力加速
  2. NVIDIA 推出影片分析智慧體藍圖:批次處理速度提升 30 倍本則
  3. NVIDIA 聯合夥伴推出智慧體藍圖:開箱即用,支援把 PDF 變播客
  4. NVIDIA 推出影片搜尋 Blueprint:用自然語言看懂海量影片
  5. NVIDIA 推出企業 AI 藍圖:打包程式碼與微服務,加速智慧體落地

每日 AI 內容精選