跳到正文
IFAI

開源專案

NVIDIA 在 NeurIPS 開源自動駕駛推理模型 Alpamayo-R1

首次發布 傳播指數 57

NVIDIA 在 NeurIPS 大會上推出一系列物理與數字 AI 開源工具。其中最受關注的是全球首個工業級開源自動駕駛推理模型 Alpamayo-R1,它把思維鏈推理融入軌跡規劃,讓自動駕駛汽車在行人混行等複雜路況下能像人一樣推導應對方案。此外,NVIDIA 還同步開放了多說話人語音識別和 AI 安全推理模型。

圖:blogs.nvidia.com

NVIDIA DRIVE Alpamayo-R1 是一套面向自動駕駛研究的工業級 VLA(視覺-語言-動作)推理模型,核心目標是讓自動駕駛汽車在面對加塞、佔道或是行人密集的複雜路況時,學會像人類司機一樣推導決策。

以往的自動駕駛端到端模型往往直接從感測器畫面對映到控制訊號,遇到沒見過的長尾極端場景容易卡殼。Alpamayo-R1 則引入了思維鏈推理,把駕駛決策拆解成具體的邏輯推導步驟。

它能做什麼

遇到複雜路況時,Alpamayo-R1 會先結合感測器資料分析周圍環境,推演所有可能的行駛軌跡,再根據上下文推匯出最穩妥的路線。

比如在旁邊有非機動車道、行人密集的鬧市區,模型不僅會規劃避讓腳踏車的行駛軌跡,還會輸出專門的推導痕跡,寫明為什麼減速、為什麼要遠離右側道路,為可解釋的自動駕駛決策提供了依據。

在模型架構上,Alpamayo-R1 基於 NVIDIA 之前釋出的 Cosmos Reason 打造。團隊通過強化學習進行後訓練,相比未經過推理訓練的基座模型,它在複雜場景下的推理與決策能力有了顯著提升。

除了 Alpamayo-R1,NVIDIA 這次還順帶放出了不少實用的物理與數字 AI 工具。物理 AI 方面有生成雷射雷達模擬資料的世界模型 LidarGen、修復神經重建畫面噪點的 Omniverse NuRec Fixer,以及將影片模型轉為機器人控制策略的 Cosmos Policy。

數字 AI 方面,NVIDIA 開源了支援多人重疊對話識別的 MultiTalker Parakeet、做即時說話人分離的 Sortformer,以及帶有動態推理能力的 Nemotron Content Safety Reasoning 內容安全模型和配套合成音訊安全資料集。

怎麼跑起來和開放程度

Alpamayo-R1 目前已經在 GitHub 和 Hugging Face 上線,開放給研究人員用於非商業性質的評估與實驗。

配套放出的資源包括開源模擬評測框架 AlpaSim,以及 NVIDIA Physical AI Open Datasets 中的一部分訓練與評估資料集。如果你想自己做後訓練,NVIDIA 還提供了 Cosmos Cookbook,把資料清洗、合成數據生成到模型評測的流程寫成了現成的步驟指南。

如果你的工作側重在大語言模型訓練與資料生成,以 Apache 2.0 協議開源的 NeMo Data Designer Library 也是開箱即用的,能夠用來生成和清洗高質量合成數據;NeMo Gym 則提供了開箱即用的可驗證獎勵強化學習環境。

為什麼重要

自動駕駛行業被端到端黑盒困擾了很久,Alpamayo-R1 的價值在於把大模型的思維鏈推理真正搬到了物理世界。它讓從事 L4 級自動駕駛和具身智慧研究的團隊,不必從頭造輪子就能拿到現成可推導決策的 VLA 底座。

不過需要留意的是,這次開源的模型和資料主要面向非商業研究用途,離直接裝車落地還有很長的工程驗證距離。對於從事自動駕駛演算法研發的團隊和高校實驗室來說,它非常適合用來做軌跡規劃的基準對比和可解釋性探索。

來源 (2)

  1. [1]
    blogs.nvidia.com(在新分頁開啟)原文blogs.nvidia.com
  2. [2]
    techcrunch.com(在新分頁開啟)報導techcrunch.com

每日 AI 內容精選