NVIDIA 亮相 SIGGRAPH:釋出 40 億引數端側世界模型與 AI 影片檢測工具
NVIDIA 在 SIGGRAPH 釋出 40 億引數的開源端側世界模型 Cosmos 3 Edge,並推出用於逐幀識別 AI 生成影片的 NIM 微服務。同時,NVIDIA 推動 Adobe、Blender 等創意工具接入 MCP 協議,讓本地智慧體直接接管複雜製作管線。
Cosmos 3 Edge 是 NVIDIA 在 7 月 20 日 SIGGRAPH 上釋出的開源端側物理世界模型,引數量為 40 億,專門用來在本地裝置上即時執行具身智慧與物理推演。伴隨它一同亮相的,還有逐幀檢測 AI 生成內容的 Synthetic Video Detector NIM 微服務,以及讓本地智慧體接管 Adobe、Blender 工作流的 MCP 協議整合。
它能做什麼
Cosmos 3 Edge 把原本笨重的世界基礎模型壓縮到了 40 億引數,能直接在邊緣硬體或單張顯示卡上本地執行,為人形機器人、機械夾爪和自動駕駛小車提供即時的物理理解和動作預測。
配合釋出的 Cosmos-Dreams 閉環模擬器更加誇張,輸入一張靜態圖片,就能在單張 NVIDIA RTX PRO 6000 上即時生成一整套逼真的駕駛模擬世界,供自動駕駛系統在下地測試前跑驗證。
針對假影片氾濫,NVIDIA 還拿出了 Synthetic Video Detector NIM 微服務。它按幀對影片進行真偽打分,在 RTX 系統上處理 1080p 畫面只要 22 毫秒,在 L40 GPU 上大約 30 毫秒。
抗壓縮是它的強項。官方測試顯示,該模型在無壓縮影片上的檢測準確率為 92%,即使被社交平臺暴力壓縮 15% 或 50%,準確率依然能維持在 87% 和 82%。
怎麼接入與落地
Cosmos 3 在底層採用了混合 Transformer 架構,目標是用單一骨幹網路打通世界理解、預測與動作執行,幫形態各異的機器人建立一套統一的物理詞表。
對於創作者和開發者,NVIDIA 拿出了 NVIDIA Agent Toolkit,全面支援 Model Context Protocol(MCP)。智慧體不需要把資料傳到雲端,在本地 RTX PRO 或 DGX 裝置上就能直接調取生產工具。
目前 Adobe 已經為 Express 推出了開發者 MCP 伺服器,Blender Lab 提供了能直接操作 Blender Python API 的輕量級 MCP 介面,Unreal Engine 與 SideFX Houdini 也開放了 MCP 支援,允許 AI 助手讀取場景樹、自動排查丟材質、編寫 APEX 繫結指令碼。
為什麼重要
對於從事機器人、自動駕駛和邊緣計算的開發者來說,Cosmos 3 Edge 是目前少見能跑在本地的輕量級開源世界模型。如果你的專案需要脫網執行,或者受限於通訊延遲無法使用雲端大模型,它絕對值得立刻下載測試。
我們認為,NVIDIA 這次最聰明的地方在於把物理世界模型與 MCP 生產力工具捆綁落地。它沒有止步於雲端生成酷炫的 demo,而是把推理能力壓到了本地工作站和邊緣裝置,既保護了工作室的資料隱私,又給昂貴的專業顯示卡找到了不可替代的剛需場景。
來源 (1)
- blogs.nvidia.com(在新分頁開啟)原文blogs.nvidia.com