Qwen-Drive4B级VLM驾驶策略底座解析,候选轨迹输出与任务入口分离设计

Qwen-Drive并非单一端到端驾驶模型,而是以Qwen3.5-4B为共享视觉语言主干、任务入口分离的模块化架构。其核心输出为多条候选轨迹(默认6条),而非唯一确定路径;规划专家不依赖BEV感知中间...

人工智能 阅读量: 1.14万

通向自动驾驶的路径正在从‘端到端黑盒’转向‘可解释、可拆解、可集成’的模块化架构。阿里推出的Qwen-Drive正是这一趋势的典型代表——它并非一个能直接控制车辆的完整系统,而是一个以4B参数量视觉语言模型(VLM)为共享主干、任务入口明确分离的驾驶策略底座。理解其真实能力边界与接口设计逻辑,对研究者与工程团队的接入决策至关重要。

如图1所示,Qwen3.5-4B作为共享VLM主干,同时支撑三个并行任务入口:问答入口输出文本回答,BEV感知头输出检测/占用/地图分割结果,而规划专家则负责生成未来自车轨迹。关键在于,这三个任务并非串行依赖关系,而是共享主干特征后各自独立运行。这意味着,规划模块并不需要先读取BEV感知的检测框或栅格图;它直接接收主干提取的场景表征,结合历史运动状态(位姿、速度、加速度)、导航指令与车辆动力学约束,由专用的“规划专家”网络生成轨迹。

这一设计显著区别于常见的‘相机→BEV→规划’流水线。若仅部署BEV服务,无法自动获得规划能力;反之,若仅调用规划接口,也无需等待完整的感知输出。这种解耦提升了系统灵活性:研究者可单独验证规划模块在给定场景表征下的行为,而不必耦合感知误差;产品团队也可根据算力分配,动态启用或关闭某类任务。

Qwen-Drive的输出形式是其工程定位的另一关键线索。官方定义的QwenDriveOutput.trajectories为三维张量:[num_samples, num_future_points, 3],其中每条轨迹包含50个未来点(对应10Hz下5秒预测),每个点为(x, y, heading)三元组,单位分别为米与弧度,坐标系为当前自车原点(x向前,y向左)。默认num_samples=6,即一次调用返回6条候选轨迹,而非6辆车或6个时间切片。

值得注意的是,公开接口中存在一个单数属性result.trajectory,其源码实现仅为return self.trajectories[0]——它仅取出第一条候选,并未进行任何置信度评估或排序。这明确传递了一个信号:Qwen-Drive本身不负责从候选中选择最优解。下游系统若需“最佳轨迹”,必须自行实现选择逻辑(如基于碰撞风险、舒适性、道路合规性等指标),并清晰标注所依据的评判标准。将数组索引顺序误认为置信度排名,是接入时常见且危险的误解。

更进一步,采样过程具有确定性:第k条候选对应随机种子seed + k。若仅保存轨迹图像而未记录原始seed与索引,将无法复现相同采样条件下的其他候选,也无法进行公平的消融实验。这要求接入方在日志中同步保存基础seed与候选索引,尤其在需要对比多条轨迹差异的研究场景中。

此外,输出轨迹为绝对位姿(非增量),且已由包装层完成反归一化。消费该输出时,若再施加额外尺度变换,将导致物理意义失真。例如,将heading弧度误作角度处理,会使转向方向与幅度完全错误;将位姿累加为增量,则整条路径将严重偏移。这些细节虽微小,却直接决定下游模块能否正确解读数据。

文章配图

输入协议的设计同样体现其工程严谨性。如图2所示,Qwen-Drive要求输入按相机视角与时间戳严格对齐:前视、左前、右前等视角图像需按协议顺序排列;历史运动状态需提供至少1.5秒(16点×0.1s)的轨迹历史;导航指令采用二进制编码(如[0,1,0,0]表示左转)。特别地,车辆自身状态(如当前速度、方向盘角)与导航目标共同构成规划的上下文,而非仅依赖视觉输入。这表明模型具备对“自我状态”的显式建模能力,符合高阶自动驾驶对状态感知闭环的要求。

  • 阶段2:联合训练视觉编码器与VLM主干,BEV头暂未参与;
  • 阶段3:固定主干与BEV头,仅更新规划专家,引入轨迹监督信号;
  • 阶段4:进一步冻结主干,对规划专家进行奖励优化(如RL版推理或SFT直接推理)。

整个流程中,无重训练、无仿真车辆、无真实路测数据介入。论文与代码均聚焦于模型结构与接口规范,而非端到端闭环性能。这一定位使其更适合作为策略生成模块嵌入更大系统,而非独立驾驶系统。

十二张图有顺序,方向有两套编码

这种“底座”式设计反映了当前大模型驱动自动驾驶的务实路径:避免用单一模型承担全部感知-决策-控制链路,转而构建可插拔、可验证、可组合的功能模块。4B级VLM在此扮演“认知中枢”角色——理解场景语义、关联历史与目标、生成多种可行方案;而具体执行、筛选与控制仍交由下游专业模块完成。

对行业而言,Qwen-Drive的价值不在于宣称“会开车”,而在于提供了一套清晰、开放、可复现的策略生成接口标准。它降低了研究门槛:开发者无需从零训练大模型,即可调用标准化的候选轨迹生成能力;同时提高了系统透明度:因任务入口分离,各模块可独立迭代与测试。

当然,这也意味着其落地仍需大量工程整合工作。例如,如何将6条候选轨迹与车辆控制器对接?如何设计轻量级但有效的轨迹选择器?如何保证不同硬件平台下采样的数值一致性?这些问题的答案不在Qwen-Drive本身,而在下游系统的协同设计中。

随着更多类似底座模型开源,自动驾驶研发正从“造轮子”转向“搭积木”。Qwen-Drive的出现,为这一转变提供了关键拼图:一个定义清晰、边界明确、可被安全集成的4B级VLM驾驶策略生成模块。