跳到正文
IFAI

AI工具

NVIDIA 推出影片搜尋 Blueprint:用自然語言看懂海量影片

首次發布 傳播指數 34

NVIDIA 推出用於影片搜尋與摘要的新版 NVIDIA Blueprint 工作流。開發者無需複雜程式碼,用自然語言提示詞就能構建影片分析智慧體,結合視覺語言模型直接檢索海量監控或歸檔影片、生成摘要並觸發警報,主要面向智慧城市、工廠安全與交通排程等場景。

圖:blogs.nvidia.com

城市裡到處都是攝像頭,倉庫裡也是,工廠裡也是。但問題在於,真正出事之前,根本沒人有精力去盯那幾百個螢幕,絕大部分監控錄影都在硬盤裡吃灰。

NVIDIA 在巴塞羅那全球智慧城市大會前夕,拿出了一個新的解決方案:一套專門用來做影片搜尋和摘要的 NVIDIA Blueprint。

說白了,它就像一份現成的工程圖紙。開發者不用再從頭拼湊視覺模型和語言模型,直接照著這個工作流,就能給監控系統裝上一個懂影片的 AI 智慧體。

用自然語言,直接查海量影片

過去想在幾十個小時的監控錄影裡找一輛撞了人的車,或者找哪個工人沒戴安全帽,要麼靠人工硬看,要麼得寫專門的演算法程式碼去匹配。

現在藉助這套藍圖,開發者可以通過自然語言提示詞來定製影片分析智慧體。你直接問它「今天下午路口有沒有發生剮蹭」,或者讓它「只要看到違規操作就立刻報警」,它就能看懂畫面並給出答案。

這套工作流是 NVIDIA Metropolis 工具集的一部分,底層靠視覺語言模型(VLM)驅動。它把計算機視覺和語言理解結合起來,讓 AI 既能「看清」物理世界,又能進行推理。

在架構上,它把 NVIDIA NIM 微服務串聯了起來。裡面包括 NVIDIA Cosmos Nemotron 視覺語言模型、NVIDIA Llama Nemotron 大語言模型,以及 GPU 加速的問答和檢索增強生成(RAG)。

開發者也可以自由替換裡面的模型或圖資料庫,並在需要時通過 NVIDIA NeMo 平臺進行微調。整個藍圖支援在邊緣裝置、本地機房或者雲端 GPU 上部署。

誰在落地這套方案

很多硬體廠商和系統整合商已經開始跟進了。

戴爾正在把這套藍圖整合到自己的 NativeEdge 邊緣計算平臺,聯想也把它放進了混合 AI 解決方案裡。埃森哲則把這些工作流接進了自己的 AI Refinery,幫企業客戶定製專有模型。

具體到實際落地場景,義大利巴勒莫市正通過智慧城市服務商 K2K 測試這類智慧體,讓交通管理者直接對即時路況提問並獲取排程建議。東南亞的馬來西亞 ITMAX 和越南 FPT 也用它來做智慧交通和城市治理。

除了智慧城市,官方還提到它可以用來幫視障人士生成影片摘要、自動剪輯體育比賽集錦,甚至拿來給超大規模的影片資料集打標,去訓練其他 AI 模型。

對開發者來說,這套藍圖可以免費體驗和下載。如果後續要進入生產環境的大規模部署,則需要走 NVIDIA AI Enterprise 企業級軟體平臺。

為什麼重要

監控攝像頭一直處於一種尷尬的境地:採集的資料極其龐大,但有效利用率極低。傳統計算機視覺通常只能做非常狹窄的單一任務,比如只識別人臉或只識別車牌,一旦換個場景就得重新訓練。

我們認為,NVIDIA 這次最聰明的地方,在於把視覺語言模型包裝成了一套開箱即用的工作流。對中小企業和獨立開發者來說,自己去把 VLM、LLM 和檢索系統搭一套穩定的管線,往往要耗費幾個月的時間調優,而藍圖大幅壓低了這個技術門檻。

對行業來說,這也是 NVIDIA 在賣晶片之外,繼續用軟體生態築深護城河的做法。它通過 Metropolis 和 NIM 深度綁定了自己的 GPU 算力,不管是邊緣盒還是雲端叢集,只要你想快速跑通這套方案,最省事的選擇依然是它的硬體。

不過看起來它的隱患也很明確。即時影片流分析對算力的要求極其苛刻,如果要處理成百上千路高畫質攝像頭,邊緣端和雲端的硬體採購成本不會低;再加上涉及公共場所和工作場所的監控分析,隱私保護和合規風險也是任何想試水團隊繞不開的坎。

來源 (1)

  1. [1]
    blogs.nvidia.com(在新分頁開啟)原文blogs.nvidia.com

話題追蹤NVIDIA Blueprints

這個話題的歷次新聞,最新的在上面。

  1. NVIDIA 把 NIM 搬上本地 PC:搭配 RTX 50 系列 FP4 算力加速
  2. NVIDIA 推出影片分析智慧體藍圖:批次處理速度提升 30 倍
  3. NVIDIA 聯合夥伴推出智慧體藍圖:開箱即用,支援把 PDF 變播客
  4. NVIDIA 推出影片搜尋 Blueprint:用自然語言看懂海量影片本則
  5. NVIDIA 推出企業 AI 藍圖:打包程式碼與微服務,加速智慧體落地

每日 AI 內容精選