NVIDIA 開放 Sensor RTX 搶先體驗：用物理模擬加速自動駕駛與機器人研發

想讓一輛自動駕駛汽車學會在暴雨黑夜裡避開突然衝出的行人，或者讓工業機械臂看清誤闖焊接區的工人，傳統的辦法只有兩個：要麼冒著危險去實地碰運氣，要麼花巨資搭建測試場地慢慢磨。

但這兩種辦法都太慢了，而且極端場景根本湊不齊。輝達現在給出的解法是：既然現實裡採集不到，就在虛擬世界裡把感測器的訊號一比一畫出來。

輝達宣佈 Omniverse Sensor RTX API 正式向部分開發者開放早期訪問許可權。這個介面的核心目的，就是通過物理級別的精準模擬，大規模合成攝像頭、雷射雷達和毫米波雷達的感測器資料，直接餵給自動駕駛和具身智慧的基座大模型。

虛擬世界裡的雷射雷達和攝像頭

大模型雖然讓機器人和自動駕駛有了更強的泛化能力，但它們對資料的胃口也大得驚人。尤其是罕見的極端場景，現實採集不僅成本高昂，甚至伴隨巨大危險。

Sensor RTX 做的事情，不是簡單地渲染出一段看起來逼真的動畫，而是在物理層面模擬光線折射、雷達波反射與吸收。換句話說，它不僅騙過人的眼睛，連車載雷射雷達和相機的感知演算法也能一起「騙」過去。

針對不同的落地場景，輝達拿出了兩套具體的藍圖架構。面向工業製造的是 Mega 藍圖，它把計算平臺、Isaac 機器人套件和 Omniverse 串聯起來，能同時為工廠裡的叉車、工業相機和機械臂渲染感測器資料。

比如國際供應鏈巨頭凱傲集團（KION Group）和埃森哲，就已經在用這套方案搭建數字孿生工廠。在虛擬環境裡，他們不僅模擬叉車和搬運裝置，還加入了數字人，讓機器人的 AI 大腦在虛擬環境裡先看清障礙並完成路徑規劃，測試沒問題再搬到真實產線。

自動駕駛上路前，先在程式碼裡撞一萬次

在自動駕駛領域，這套技術落地的速度更快。輝達推出了專門的自動駕駛模擬藍圖，讓測試工具鏈可以直接讀取物理精確的感測器資料。

測試服務商 Foretellix 已經把這套方案整合到了旗下的 Foretify 工具鏈中，不僅能批次生成極端測試工況，後續還會接入輝達新公佈的 Cosmos 世界模型平臺。在美國擁有大規模 L4 級車隊部署的 Nuro，目前就依靠這套系統在發車前做大量的虛擬驗證。

另一個典型案例來自監管層面的嘗試。科研機構 MITRE 正聯手密西根大學的 Mcity 測試基地，為這片佔地 32 英畝的自動駕駛試驗場打造一套數字孿生監管框架。未來自動駕駛能不能上路，可能先要在虛擬的 Mcity 裡考過這套高精度的感測器測試題。

為什麼重要

我們認為，輝達這一步走得相當精準。大模型技術進入具身智慧和物理世界，最大的瓶頸早就不是算力本身，而是高質量、多模態且帶物理真值的訓練資料。

對於做自動駕駛和工業機器人的團隊來說，實車路測和實地部署的每公里成本極其高昂。如果模擬生成的雷達點雲和影像能夠達到物理級真實，很多危險測試就能在幾小時內跑完原本幾個月的量，這會極大壓縮邊緣案例的排障週期。

從商業競爭來看，輝達正在把自己的護城河從 GPU 晶片和 CUDA，進一步延伸到底層的物理世界模擬引擎。不管是賣演算法的 Foretellix、造無人物流車的 Nuro，還是制定標準的監管機構，一旦測試流深度綁定了 Omniverse 的感測器介面，後續的算力和模型底座就很難再離開輝達生態。

不過看起來挑戰依然存在。物理模擬再逼真，和紛繁複雜的真實物理世界之間依然存在模擬鴻溝，感測器在雨雪霧天的物理退化能否百分之百還原，依然需要現實環境的持續校準。目前該介面只面向少數開發者開放早期訪問，普通團隊想把它徹底跑順，可能還得等配套工具鏈進一步成熟。