알리바바, 3D 인식과 경로 생성을 통합한 자율주행 모델 Qwen-Drive-1.0 공개

대규모 AI 모델에 운전을 가르치려면 보통 두 가지 선택지 앞에 서게 됩니다. 처음부터 자율주행 전용 모델을 밑바닥부터 새로 만들거나, 범용 멀티모달 모델을 그대로 차에 올려놓고 3차원 공간 감각이 부족한 현실을 마주하는 식입니다.

알리바바는 8월 31일 자율주행용 시각 언어 기반 모델 Qwen-Drive-1.0을 공개하며 그 해법을 제시했습니다. 기본 모델의 구조는 전혀 건드리지 않고, 전용 외장 모듈을 연결해 3D 공간 인식과 경로 생성 문제를 한 번에 풀어냈습니다.

기본 모델 유지한 채 두 개의 외부 모듈 결합

Qwen-Drive-1.0은 기본적으로 네이티브 멀티모달 모델인 Qwen3.5-4B를 토대로 삼습니다. 단일 뷰와 다중 뷰 주행 영상, 시간 순서의 프레임 등 모든 시각 입력은 손대지 않은 공유 경로를 통해 처리됩니다.

핵심은 이 공유 경로의 표현값을 읽어가는 두 개의 외부 모듈입니다.

첫 번째는 BEV(조감도) 인식 헤드입니다. 다중 뷰 이미지에서 조감도 표현을 생성하고, 3D 객체 감지와 시맨틱 점유 예측, BEV 지도 분할을 동시에 수행합니다. 학습 과정에서 발생하는 오차 신호는 기본 시각 경로로 역전파되어 인식 성능을 함께 끌어올립니다.

두 번째는 디퓨전 트랜스포머 기반의 주행 계획 모듈(Planning Expert)입니다. 플로우 매칭 기법을 사용해 10Hz 속도로 향후 5초간의 자차 주행 궤적을 만들어내며, 텍스트 형태의 주행 판단 이유를 조건값으로 받아 처리할 수도 있습니다.

283만 개 공개 데이터로 학습

이번 학습은 전적으로 283만 개에 달하는 공개 데이터 샘플만을 활용해 단계별로 진행되었습니다. 서로 다른 공개 데이터셋의 라벨 형식을 하나로 통일해 5초 단위의 안정적인 궤적을 뽑아내도록 구성했습니다.

성능 지표도 인상적입니다. 미세조정을 거친 Qwen-Drive-1.0-SFT는 주행 질의응답(QA) 평가에서 평균 69.43점을 기록했습니다. 이는 일반 범용 VLM은 물론이고 주행이나 임바디드 AI 전용 모델들까지 앞선 수치입니다.

다만 한계도 존재합니다. 텍스트로 설명하는 주행 추론 내용과 실제로 생성된 물리적 궤적 사이의 일관성이 완벽하지 않다는 점이며, 알리바바 측도 이를 향후 최우선 해결 과제로 꼽았습니다.

왜 중요한가

기존 모델의 아키텍처를 전혀 수정하지 않은 채 외장 모듈 방식으로 성능을 입증했다는 점이 가장 돋보입니다. 자율주행을 위해 거대 모델을 처음부터 다시 학습시키는 천문학적인 비용을 아끼고, 4B 크기의 가벼운 모델이 가진 일반 상식과 언어 이해력을 그대로 살릴 수 있기 때문입니다.

자체 수집 데이터가 아닌 100% 공개 데이터만으로 이 정도 성능을 냈다는 점도 개발 생태계에 큰 의미를 갖습니다. 방대한 자율주행 테스트 차량을 보유하지 못한 연구팀이나 중소 기업도 오픈된 파운데이션 모델을 바탕으로 연구를 이어갈 수 있습니다.

하지만 말로 설명하는 주행 의도와 실제 바퀴가 그리는 궤적 사이의 불일치는 안전과 직결되는 문제입니다. AI가 보행자를 인지했다고 답하면서도 궤적을 엉뚱하게 긋는 실수가 반복된다면 실제 양산 차량에는 적용할 수 없습니다. 이 추론과 행동의 일관성을 얼마나 완벽하게 묶어낼지가 향후 상용화의 핵심 분수령이 될 것으로 보입니다.