千问自动驾驶91.4分背后的评测逻辑,best-of-6并非实时选择能力
Qwen-Drive在NAVSIM v1.1评测中取得91.4分,源于对6条候选轨迹择优选取最高PDMS得分的结果。该分数反映的是‘oracle’条件下的上界性能,而非系统在真实驾驶中具备的实时轨迹选...
通义千问团队发布的自动驾驶模型Qwen-Drive-1.0-RL在NAVSIM v1.1基准测试中获得91.4分,引发行业广泛关注。这一数字常被简称为“千问自动驾驶高分”,但其技术含义远比表面数值复杂——它并非模型在实际运行中能稳定输出的性能,而是基于特定评测规则下对多候选轨迹进行事后择优的结果。
NAVSIM(Navigation Simulation)是当前自动驾驶规划模块评估的重要开源基准,其核心指标PDMS(Planning Decision Making Score)综合考量轨迹安全性、舒适性与任务完成度。根据官方公开的评测文档与代码,Qwen-Drive-1.0-RL的91.4分对应的是“best-of-6”设置:即每个场景生成6条候选轨迹,再依据该场景的PDMS评分结果,人工选取其中得分最高的一条计入总分。
与此相对,同一模型在默认单轨迹输出模式下的得分为90.7分。两者相差0.7分,看似微小,却揭示了关键差异:91.4分依赖于“oracle”式选择——即选择过程可访问完整评分依据(包括地面真值与仿真反馈),属于离线分析条件;而真实车辆部署时,选择器只能基于当前观测信息(如传感器输入、地图状态等)实时决策,无法预知哪条轨迹最终得分最高。
进一步梳理官方成绩表可见,性能提升涉及多个变量叠加:
- 输入条件变化:是否启用“规划推理”(reasoning)条件,影响模型对长期目标的理解能力;
- 模型训练阶段:SFT(监督微调)与RL(强化学习)专家路径不同;
- 选择机制:单轨迹输出 vs best-of-6择优。
例如,SFT模型在启用推理条件下得分为88.2,best-of-6后升至89.3;RL模型默认为90.7,best-of-6后达91.4。这些差值(1.1与0.7)仅为官方汇总的算术差,未提供统计显著性检验,也不能直接归因于某单一改进项。将全部提升笼统归结为“模型会推理了”,实则混淆了训练策略、输入增强与选择预算三类不同维度的优化。
更需注意的是,NAVSIM评测脚本中存在两个独立分支:位移误差(ADE)计算固定取每场景第一条候选轨迹(trajectories[0]),而PDMS分支则遍历全部候选并取score最大者。这意味着,同一份预测文件中,ADE与PDMS所评价的轨迹可能根本不是同一条。若误认为“某条轨迹同时取得两项高分”,将导致对模型能力的误判。
此外,PDMS分支还区分interp(插值网格)与direct(直接网格)两种时间采样方式,并分别取各自最高分。因此,最终汇总得分甚至可能来自不同候选索引的组合,源码并未保留逐场景的选择路径记录。这对后续复现与对比构成实质障碍——没有原始候选分数序列,仅凭平均分无法反推出选择逻辑。
这一问题在其他自动驾驶评测体系中同样存在。例如Waymo的评估脚本规定:当有多条候选且存在偏好标签时,优先选择“评分最高的参考轨迹”,再匹配与其最接近的预测轨迹;若无偏好标签,则默认返回首条候选。该规则依赖外部标签,且“最接近”不等于直接按RFS(Reward Function Score)排序取最大,说明不同平台的“选择”定义并不统一。
由此引出一个核心工程命题:best-of-6的91.4分,本质上是当前候选集合在给定评分规则下的理论上限(upper bound),而非系统实时决策能力的体现。它有价值——可帮助研究者判断生成质量的潜力空间,以及生成与选择模块之间的性能落差;但它不能直接用于部署决策。
真正可用于落地的选择器,必须满足两个前提:
目前Qwen-Drive尚未公开此类可部署选择器的实测表现。官方报告明确指出:“只描述当前候选集合和评分规则下的上界;可部署选择器仍需独立验证。” 这一表述至关重要——它划清了研究指标与工程可用性之间的界限。
从行业视角看,这种“oracle择优”现象并非个例。近年来多个大模型驱动的自动驾驶方案(如Tesla FSD V12、华为ADS 3.0部分模块)在仿真评测中呈现显著提升,但实际路测中仍需依赖传统规则模块兜底,原因正在于生成能力与选择能力的脱节。生成模型可以产出高质量候选,但如何在毫秒级内从多个合理选项中选出最优解,仍是具身智能领域的开放难题。
值得注意的是,NAVSIM v1.1的评测设计本身也隐含局限:其场景库规模有限,且仿真环境与真实道路存在分布偏移。即便在best-of-6下达到91.4分,也无法保证在长尾场景(如极端天气、突发障碍物交互)中的鲁棒性。这也是为何头部厂商普遍采用“影子模式”+真实路测双轨验证,而非仅依赖仿真分数。
回到千问自动驾驶项目,其技术路线体现了典型的“大模型+仿真优化”范式:先通过SFT模仿人类驾驶行为构建基础规划能力,再以RL引入安全、效率等多维奖励函数进行精细化调优。这一路径在结构上合理,但在系统集成层面,仍需补全“选择层”的闭环验证。
对于从业者而言,理解91.4分的真实含义尤为重要。它不应被简化为“千问超越某竞品X分”的传播话术,而应视为一个研究阶段的性能标尺——提示我们:生成能力已接近瓶颈,下一步突破点在于构建轻量、可靠、可验证的在线选择机制。
当前,学术界正探索多种替代方案:如引入轻量级排序网络(ranking head)联合训练、设计不确定性感知选择策略、或利用因果干预提升选择鲁棒性。这些方向尚处早期,但已指向同一共识:自动驾驶的终局竞争,不仅是生成质量的比拼,更是决策可信度的较量。
Qwen-Drive的91.4分是一次有价值的阶段性展示,但它提醒我们:在通往L4级自动驾驶的路上,分数背后的规则,往往比分数本身更重要。
