跳到正文
IFAI

AI工具

NVIDIA 推出视频分析智能体蓝图:批量处理速度提升 30 倍

首次发布 传播指数 34

NVIDIA 发布了针对视频搜索与摘要的新版 AI 蓝图。它结合了最新的 Cosmos 视觉大模型与检索增强框架,让批量视频分析速度达到实时的 30 倍。最值得关注的是,智能体支持思维链推理和工具调用,能直接接管工业质检与安防巡查。

NVIDIA 推出视频分析智能体蓝图:批量处理速度提升 30 倍
图:blogs.nvidia.com

全球装了超过 15 亿台企业级摄像头,每年录下差不多 7 万亿小时的视频。但这里面真正有人实时盯着看的,连 1% 都不到。

这意味着绝大多数工业事故、产线缺陷、交通堵塞,甚至仓库堆叠浪费,都在监控死角或者没人看的录像里悄悄发生。制造企业每年因为没能提前发现缺陷,要损失数万亿美元。

NVIDIA 打算把这些沉睡的录像全唤醒。在 CES 期间,NVIDIA 宣布开放新版视频搜索与总结 AI Blueprint 的早期访问权限,专门帮开发者搭建能看懂视频的 AI Agent。

30 倍速看录像,还能做思维链推理

这套 Blueprint 搭建在 NVIDIA Metropolis 平台之上,核心是串联了 NVIDIA 自家的全家桶:Cosmos Nemotron 视觉语言模型、Llama Nemotron 大语言模型,以及 NeMo Retriever 检索技术。

它整合了 NVIDIA AI Enterprise 软件平台里的 NIM 微服务。官方表示,这种架构下的批量视频处理速度,比人工实时盯监控快了整整 30 倍。

更关键的是它具备 Agent 特性,支持思维链推理、任务规划和工具调用。也就是说,它不是简单地给视频打标签,而是能拆解复杂指令,甚至和其他专项 Agent 协同工作,而且支持从边缘端一路部署到云端。

在工厂里,它可以细致检查工人的装配动作顺序是否符合标准流程,或者通过 3D 体积估算优化仓库货位,并在发生事故后自动把视频整理成事件报告。

黄仁勋拉出自己的开球录像做演示

除了工业制造,NVIDIA 还把目光投向了体育和文娱。

在 CES 开幕演讲中,黄仁勋亲自做了一段演示。系统调出了他此前在旧金山巨人队主场开球的现场视频,AI 视频分析 Agent 直接拿他的直球投球动作跟职业选手对比,逐帧分析并指出了可以改进的地方。

按 NVIDIA 的说法,全球体育市场规模达到 5000 亿美元,视频分析一直是教练和球员的刚需,而这套方案能把昂贵的专业分析门槛直接打下来。

目前,埃森哲、德勤、安永、印孚瑟斯、和硕、塔塔咨询以及 VAST 等多家全球企业和方案集成商,已经开始把这套 Blueprint 接进自己的开发流程。

为什么重要

工业和安防摄像头铺了十几年,最大的痛点从来不是「录不下来」,而是「存了根本没人看」。人工盯监控不仅成本高,而且极易疲劳漏检,事后查监控又像大海捞针。

NVIDIA 这一步走得相当精明。它没有单纯去卷多模态大模型的参数,而是拿出一套把 VLM、检索和智能体工作流打包好的工程蓝图。对开发者和企业来说,省去了从零搭建视频检索和推理管道的巨大成本,能直接把现成的摄像头网络变成能实时报警、写报告的自动化系统。

不过挑战也很明显。30 倍速批处理在事后分析时非常高效,但在安防和工业流水线场景下,企业最需要的是毫秒级低延迟的实时介入。从边缘端摄像头采集、推理再到联动控制,端到端的算力成本和带宽开销依然不低,中小企业能不能用得起,还需要看实际落地后的账本怎么算。

来源 (1)

  1. [1]
    blogs.nvidia.com(在新标签页打开)原文blogs.nvidia.com

话题追踪NVIDIA Blueprints

这个话题的历次新闻,最新的在上面。

  1. NVIDIA 把 NIM 搬上本地 PC:搭配 RTX 50 系列 FP4 算力加速
  2. NVIDIA 推出视频分析智能体蓝图:批量处理速度提升 30 倍本条
  3. NVIDIA 联合伙伴推出智能体蓝图:开箱即用,支持把 PDF 变播客
  4. NVIDIA 推出视频搜索 Blueprint:用自然语言看懂海量视频
  5. NVIDIA 推出企业 AI 蓝图:打包代码与微服务,加速智能体落地

每日 AI 内容精选