アリババが自動運転モデル「Qwen-Drive-1.0」発表、3D認識と走行計画を統合

大規模言語モデルに車の運転を教えようとする際、これまでは専用の自動運転ネットワークをゼロから構築するか、汎用モデルを無理やり車載して空間認識の甘さに妥協するかの二者択一でした。

アリババは 8 月 31 日、その溝を埋める自動運転向け視覚言語基盤モデル「Qwen-Drive-1.0」を発表しました。ベースとなる汎用モデルの構造には一切手を加えず、外部モジュールを巧みに連携させることで、3D 認識と走行軌道生成の両立を実現しています。

ベース構造を変えず、外付けモジュールで拡張

Qwen-Drive-1.0 の基盤には、ネイティブマルチモーダルモデルである Qwen3.5-4B が採用されています。共有ビジョンエンコーダーと VLM 本体は、単眼カメラや複数視点カメラの映像、時系列フレームなどをそのまま処理します。

特徴的なのは、この共有経路から情報を読み取る 2 つの外付けモジュールです。

1 つ目は「BEV 認識ヘッド」です。複数視点の映像から鳥瞰図表現を構築し、3D 物体検出、セマンティック占有予測、BEV 地図セグメンテーションを同時に実行します。学習時にはこの損失が共有視覚経路へとフィードバックされます。

2 つ目は「プランニングエキスパート」です。拡散トランスフォーマーをベースにフロー・マッチング技術を用い、自車の今後 5 秒間の走行軌道を 10 Hz の頻度で生成します。テキストによる判断理由を条件として受け取ることも可能です。

283 万件のオープンデータで学習

モデルの学習は段階的に進められ、すべて公開データセット（計 283 万サンプル）のみで完結しています。データセットごとのアノテーション形式の違いを統一したことで、安定した軌道予測を可能にしました。

走行状況に関する視覚的質問応答（Driving QA）ベンチマークにおいて、ファインチューニング版の Qwen-Drive-1.0-SFT は平均スコア 69.43 を記録。汎用 VLM だけでなく、運転や身体性 AI の専門モデルを上回る精度を示しました。

ただし課題も残されています。アリババによると、テキストによる思考プロセスと実際に生成された走行軌道との間に不一致が生じるケースがあり、この整合性の強化が今後の焦点となります。

なぜ重要か

ベースモデルの構造を一切変更しないという設計判断は、極めて実用的だと考えます。自動運転のためだけに巨大な基盤モデルを一から再学習させるコストを避けつつ、4B サイズの軽量モデルが持つ汎用的な常識や推論能力をそのまま車載制御に生かせるからです。

283 万件の公開データだけでここまでの性能を引き出せることを示した点も、自動車メーカーや研究機関にとって朗報です。自前で膨大な走行データを集めなくても、オープンな土台から開発をスタートできます。

一方で、テキストの説明と実際の走行軌道が食い違う問題は、安全が最優先される実車導入において致命傷になりかねません。AI が言葉で認識している状況と、制御モジュールが描く進路をいかに完全に同期させるかが、今後の実用化に向けた最大の関門になりそうです。