NVIDIA 推出视频搜索 Blueprint:用自然语言看懂海量视频
NVIDIA 推出用于视频搜索与摘要的新版 NVIDIA Blueprint 工作流。开发者无需复杂代码,用自然语言提示词就能构建视频分析智能体,结合视觉语言模型直接检索海量监控或归档视频、生成摘要并触发警报,主要面向智慧城市、工厂安全与交通调度等场景。
城市里到处都是摄像头,仓库里也是,工厂里也是。但问题在于,真正出事之前,根本没人有精力去盯那几百个屏幕,绝大部分监控录像都在硬盘里吃灰。
NVIDIA 在巴塞罗那全球智慧城市大会前夕,拿出了一个新的解决方案:一套专门用来做视频搜索和摘要的 NVIDIA Blueprint。
说白了,它就像一份现成的工程图纸。开发者不用再从头拼凑视觉模型和语言模型,直接照着这个工作流,就能给监控系统装上一个懂视频的 AI 智能体。
用自然语言,直接查海量视频
过去想在几十个小时的监控录像里找一辆撞了人的车,或者找哪个工人没戴安全帽,要么靠人工硬看,要么得写专门的算法代码去匹配。
现在借助这套蓝图,开发者可以通过自然语言提示词来定制视频分析智能体。你直接问它「今天下午路口有没有发生剐蹭」,或者让它「只要看到违规操作就立刻报警」,它就能看懂画面并给出答案。
这套工作流是 NVIDIA Metropolis 工具集的一部分,底层靠视觉语言模型(VLM)驱动。它把计算机视觉和语言理解结合起来,让 AI 既能「看清」物理世界,又能进行推理。
在架构上,它把 NVIDIA NIM 微服务串联了起来。里面包括 NVIDIA Cosmos Nemotron 视觉语言模型、NVIDIA Llama Nemotron 大语言模型,以及 GPU 加速的问答和检索增强生成(RAG)。
开发者也可以自由替换里面的模型或图数据库,并在需要时通过 NVIDIA NeMo 平台进行微调。整个蓝图支持在边缘设备、本地机房或者云端 GPU 上部署。
谁在落地这套方案
很多硬件厂商和系统集成商已经开始跟进了。
戴尔正在把这套蓝图整合到自己的 NativeEdge 边缘计算平台,联想也把它放进了混合 AI 解决方案里。埃森哲则把这些工作流接进了自己的 AI Refinery,帮企业客户定制专有模型。
具体到实际落地场景,意大利巴勒莫市正通过智慧城市服务商 K2K 测试这类智能体,让交通管理者直接对实时路况提问并获取调度建议。东南亚的马来西亚 ITMAX 和越南 FPT 也用它来做智能交通和城市治理。
除了智慧城市,官方还提到它可以用来帮视障人士生成视频摘要、自动剪辑体育比赛集锦,甚至拿来给超大规模的视频数据集打标,去训练其他 AI 模型。
对开发者来说,这套蓝图可以免费体验和下载。如果后续要进入生产环境的大规模部署,则需要走 NVIDIA AI Enterprise 企业级软件平台。
为什么重要
监控摄像头一直处于一种尴尬的境地:采集的数据极其庞大,但有效利用率极低。传统计算机视觉通常只能做非常狭窄的单一任务,比如只识别人脸或只识别车牌,一旦换个场景就得重新训练。
我们认为,NVIDIA 这次最聪明的地方,在于把视觉语言模型包装成了一套开箱即用的工作流。对中小企业和独立开发者来说,自己去把 VLM、LLM 和检索系统搭一套稳定的管线,往往要耗费几个月的时间调优,而蓝图大幅压低了这个技术门槛。
对行业来说,这也是 NVIDIA 在卖芯片之外,继续用软件生态筑深护城河的做法。它通过 Metropolis 和 NIM 深度绑定了自己的 GPU 算力,不管是边缘盒还是云端集群,只要你想快速跑通这套方案,最省事的选择依然是它的硬件。
不过看起来它的隐患也很明确。实时视频流分析对算力的要求极其苛刻,如果要处理成百上千路高清摄像头,边缘端和云端的硬件采购成本不会低;再加上涉及公共场所和工作场所的监控分析,隐私保护和合规风险也是任何想试水团队绕不开的坎。
来源 (1)
- blogs.nvidia.com(在新标签页打开)原文blogs.nvidia.com
话题追踪NVIDIA Blueprints
- NVIDIA 把 NIM 搬上本地 PC:搭配 RTX 50 系列 FP4 算力加速
- NVIDIA 推出视频分析智能体蓝图:批量处理速度提升 30 倍
- NVIDIA 联合伙伴推出智能体蓝图:开箱即用,支持把 PDF 变播客
- NVIDIA 推出视频搜索 Blueprint:用自然语言看懂海量视频本条
- NVIDIA 推出企业 AI 蓝图:打包代码与微服务,加速智能体落地