NVIDIA、自動運転・ロボット向け「Omniverse Sensor RTX」の早期アクセスを開始

大雨の深夜に飛び出してくる歩行者を自動運転車に認識させたい時、あるいは溶接ロボットのアーム内に作業員が立ち入った瞬間に停止させたい時、現実世界でそのデータを集めるのは極めて危険で、莫大なコストがかかります。

NVIDIAが打ち出した解決策はシンプルです。現実で集められないなら、センサーが見ている世界を丸ごと物理的にシミュレーションしてしまえばいい、というアプローチです。

NVIDIAは1月7日、「Omniverse Sensor RTX」APIのアーリーアクセス提供を開始したと発表しました。自動運転車や産業用ロボットに不可欠なカメラ、LiDAR、ミリ波レーダーのデータを、物理的に正確なシミュレーションを通じて大規模に合成・生成できる技術です。

センサーを騙す高精度な物理シミュレーション

基底モデルの登場によって自律型マシンの汎化性能は飛躍的に向上していますが、それらを訓練・検証するには膨大かつ多様なデータが必要です。特に発生頻度が低いエッジケースの収集は、長年ロボティクス開発の壁となっていました。

Sensor RTXは、単に綺麗なCG映像を作る機能ではありません。光の反射やレーダー波の跳ね返りといった物理現象を正確に計算し、車載センサーが実際に捉える生データそのものを仮想空間で再現します。

産業向けには「Mega」と呼ばれるOmniverseブループリントが用意されました。物流大手のKION Groupとアクセンチュアは、この仕組みを使ってデジタルツイン環境を構築しています。フォークリフトやロボット機器、さらにはデジタルヒューマンを同じ仮想空間に配置し、スマートカメラやロボットの頭脳が安全に判断できるかを実現場への導入前に検証しています。

自動運転のテストをバーチャル空間で完結させる

自動運転分野でも導入が進んでいます。検証プラットフォームを手掛けるForetellixは、自社のForetifyツールチェーンにこのブループリントを統合しました。今後はNVIDIAの新プラットフォーム「Cosmos」も組み合わせ、さらに多様なシナリオを同時並行で生成する計画です。

米国で大規模なレベル4商用運行を行うNuroも、公道へ車両を出す前の訓練や検証にこのツールを採用しています。また、研究機関のMITREとミシガン大学の自動運転試験場「Mcity」は、32エーカーの実験場をデジタルツイン化し、将来の規制認証に向けたフレームワーク構築を進めています。

なぜ重要か

今回の発表は、フィジカルAIの主戦場が「モデルの訓練」から「高品質な物理データの生成」へ移ったことを明確に示しています。

開発企業にとって、現実のテスト走行や実工場での試行錯誤は最もコストがかかる工程です。物理的に正確なセンサーデータをクラウド上で無限に作れるようになれば、危険なエッジケースの検証を短時間かつ低予算で終わらせることができます。特に検証コストに苦しむ自動運転スタートアップにとっては、実用化までの時間を大きく縮める武器になるはずです。

業界全体から見れば、NVIDIAはハードウェアだけでなく、検証・シミュレーション環境という開発フローの最上流を押さえにかかっています。規制機関であるMcityのテスト基盤にまで食い込んでいる点を見ても、競合他社がこのエコシステムを崩すのは極めて困難になりつつあります。

もっとも、シミュレーションと現実の差（Sim-to-Realギャップ）を完全にゼロにできるのかという疑問は残ります。現時点では限定的なアーリーアクセスにとどまっており、中小の開発現場まで普及するには、ツールチェーンの成熟とさらなる検証が必要になりそうです。