跳到正文
IFAI

機器人

Helm.ai 推出 VidGen-2:解析度翻倍,為自動駕駛生成多視角模擬影片

首次發布 傳播指數 31

自動駕駛軟體公司 Helm.ai 釋出生成式 AI 模型 VidGen-2。新模型解析度提升至 696×696,支援 30 fps 及三攝多視角一致性生成,可無提示詞或基於單張圖生成多天氣、多路況的駕駛模擬,幫車企降低實車路測成本。

圖:therobotreport.com

造自動駕駛的人都知道,在路上跑里程不僅貴,很多極端工況還根本碰不到。

加州自動駕駛軟體公司 Helm.ai 釋出了新一代生成式 AI 模型 VidGen-2。它的核心任務就是幫車企合成逼真的駕駛影片,用來訓練和驗證自動駕駛系統的感知能力。

距離這家公司 7 月推出 VidGen-1 才剛過去不到三個月,VidGen-2 就把核心指標翻了一倍。

解析度翻倍,三攝畫面不再穿幫

VidGen-2 的影片生成解析度從上一代的水平翻倍到了 696 x 696,支援 5 到 30 fps 的幀率,在 30 fps 下的畫面平滑度和細節都明顯變好。

模型利用數千小時的多元駕駛影片在 NVIDIA H100 GPU 上訓練完成,底層依靠 Helm.ai 自研的深度神經網路架構和被稱為「Deep Teaching」的無監督訓練方法。

好玩的是它的輸入方式挺靈活:可以完全不給提示詞直接生成,也可以給一張靜態圖片或者一段參考影片讓它接著往下編。

這次最硬核的升級在於多視角支援。VidGen-2 可以同時生成 3 個機位、單機位解析度為 640 x 384 的影片流。

對多攝環視來說,最怕的就是左側相機裡車剛過去,右側相機裡動作對不上。Helm.ai 表示 VidGen-2 能做到三個視角之間自洽,保證多感測器配置下的物理一致性。

模型生成的場景覆蓋了高速和城市道路,包括不同地理區域、天氣和光線變化,還有行人、騎車人、交叉路口和轉彎等複雜路況。更關鍵的是,不僅自車和周邊交通參與者的動作符合交通規則,行為模式也學到了人類的開法。

為什麼重要

在傳統模擬器裡,工程師得手動拉 3D 資產、調物理引擎,費時費力還不一定真實;而在現實中路測,危險邊緣案例永遠收集不夠。

像 VidGen-2 這種生成式影片模型,核心價值就是縮小「模擬到現實」的差距。對車企和機器人團隊來說,如果能低成本快速生成數萬種極端天氣和複雜交匯路口,感知演算法的迭代速度會成倍提升。

我們認為,Helm.ai 緊盯著三攝一致性和人類駕駛行為來做,切入點非常聰明。自動駕駛感知系統從不看單張漂亮的圖,它看重的是連續幀的時序穩定性和多相機的空間對齊。

不過隱患依然存在。雖然 696 x 696 比上一代強,但比起車企動輒 800 萬畫素的車載攝像頭,這個清晰度用在遠距離小障礙物識別上還是不夠看。AI 生成的幻覺如果帶進驗證環節,車企如何確保不會教壞原本的自動駕駛模型,也是接下來要面對的現實課題。

來源 (1)

  1. [1]
    therobotreport.com(在新分頁開啟)原文therobotreport.com

每日 AI 內容精選