复旦贾萧松指出VLA与WAM瓶颈不在模型架构,而在于系统级信息断层

复旦大学助理教授贾萧松结合其在自动驾驶与具身智能领域的研究经历,分析当前视觉-语言-动作模型(VLA)与世界模型(WAM)面临的真正瓶颈:并非模型结构创新不足,而是模块间信息传递断裂与任务目标脱节。他...

人工智能

近期,具身智能领域涌现大量新型视觉-语言-动作模型(VLA)与世界模型(WAM),但复旦大学可信具身智能研究院助理教授贾萧松在一次深度对话中指出:技术瓶颈的根源并不在于模型架构本身,而在于系统层面的信息断层与目标错位。

贾萧松的研究轨迹颇具代表性。2021年,他在上海交通大学直博初期原计划延续本科阶段的自动驾驶轨迹预测方向,但导师严骏驰的一通电话促使他转向端到端自动驾驶研究。这一转向背后,是对传统模块化系统局限性的清醒认知——轨迹预测既受限于上游感知丢失的关键语义信号(如行人手势、刹车灯状态),又难以被下游决策模块有效利用,导致局部优化无法提升整体性能。

三年后,贾萧松与合作者提出的Think2Drive模型在ECCV发表,通过在低维潜在空间模拟交互,将CARLA复杂驾驶任务的策略训练压缩至单张NVIDIA A6000 GPU三天完成。该工作不仅验证了端到端路径的可行性,更凸显了一个核心原则:直接优化最终任务目标,而非中间子任务。

如今,贾萧松的研究重心转向灵巧手与第一人称(Ego)数据,但他观察到:自动驾驶曾遭遇的困境,正在具身智能领域以新形态重现。

VLA与WAM的“伪繁荣”:架构创新掩盖系统缺陷

当前VLA模型普遍采用“视觉编码器→语言理解→动作生成”的三段式流程,看似统一,实则仍存在隐性模块割裂。例如,视觉输入常被压缩为固定维度特征向量,大量细粒度时空线索(如物体表面反光变化、微小形变趋势)在编码阶段即被丢弃;语言指令若未精确描述环境动态(如“轻推盒子”未说明接触点与力矩方向),动作解码器只能依赖先验猜测,导致执行偏差。

世界模型(WAM)同样面临类似问题。尽管其目标是构建可推理的环境动态表征,但多数WAM仅学习像素级重建或短期轨迹预测,缺乏对物理约束(如摩擦系数、惯性质量)与任务因果链的显式建模。当模型在仿真中表现优异,却在真实机器人上失效时,问题往往出在“仿真-现实”鸿沟之外的更深层:模型学到的是统计相关性,而非可泛化的机制性知识。

贾萧松指出,这与早期自动驾驶中“感知→预测→决策”三模块各自优化却协同失效的逻辑高度一致。模块间接口设计粗糙,信息流单向且不可逆,一旦上游输出失真,下游难以纠错。

两条实践路径:替代VS加速VLA

值得注意的是,通用大模型正以两种方式介入机器人研发,折射出行业对VLA瓶颈的不同应对策略。

其一,是“替代路径”:工业自动化公司MicroFactory在2026年10月披露,其系统基于Claude Opus与GPT-6 Astra等通用大模型生成控制方案,再由专用程序执行作业。机器人连续1.5小时自主装配电子产品零失误,关键在于将高层规划与底层执行解耦——通用模型负责理解任务、选择算法、编写代码;固化后的程序则高速重复运行,避免实时调用大模型带来的延迟与成本。

其二,是“加速路径”:评测平台Poke & Wiggle于10月14日让Claude Opus 5.5接管VLA研发全流程,从读论文、写算法到训模型、测真机,复现10篇机器人论文核心结论。此处大模型并非取代VLA,而是作为研发助手,显著缩短迭代周期。

这两条路径共同指向一个事实:通用大模型的价值不在于直接控制机器人,而在于重构研发与集成范式。正如贾萧松所言:“凡能固化的动作,绝不浪费通用能力”,这正是工程系统稳健性的底层逻辑。

真正瓶颈:目标对齐与信息保真

贾萧松进一步强调,突破当前瓶颈需回归两个根本问题:

  • 任务目标是否可端到端定义? 例如,“打开抽屉”这一指令,在VLA中常被分解为“定位把手→抓取→旋转→拉动”,但人类执行时是整体意图驱动的连续动作。若模型无法将语言指令映射至统一的运动策略空间,中间环节必然引入误差累积。
  • Think2Drive模型架构示意图
  • 信息流是否保真且可回溯? 在Think2Drive架构中(见图3),轨迹分支与多步控制分支共享同一潜在表征,并通过“Guidance”机制实现双向反馈,确保决策不脱离感知上下文。这种设计避免了传统流水线中“黑箱传递”的风险。
  • 他援引自身经历说明:2023年团队将Think2Drive部署至实体小车时,发现仿真中完美的策略在真实环境中因传感器噪声与执行延迟而失效。解决方案不是更换模型结构,而是引入闭环评测与交互式仿真——通过让机器人主动“提问”(如请求重试某动作),补充缺失的环境反馈,从而重建信息闭环。

    具身智能的下一步:从模块拼接走向统一表征

    当前VLA与WAM的演进,正面临与2020年前后自动驾驶相似的十字路口。彼时,Wayve、Waabi等公司率先尝试端到端,而主流车企仍坚持模块化;如今,部分机器人公司试图用通用大模型“绕过”VLA,另一些则致力于增强VLA的鲁棒性。

    贾萧松认为,未来胜出者未必是模型参数最多的,而是最擅长构建任务-感知-动作统一表征空间的团队。这意味着:

    • 视觉编码需保留可微分的物理线索(如深度梯度、光流场);
    • 语言理解应与动作空间对齐(例如将“轻推”映射至力-位移曲线而非离散动作ID);
    • 世界模型必须支持反事实推理(“若我施加更大扭矩,结果会如何?”),而非仅拟合历史轨迹。

    具身智能的成熟,不取决于单点技术突破,而在于能否建立一套抗信息衰减的系统架构。正如贾萧松所总结:“我们过去十年在自动驾驶中学到的教训,不该在机器人领域重演一遍。”

    当行业仍在追逐VLA的新变体与WAM的更高FLOPs时,真正的创新可能藏在对系统级瓶颈的重新诊断之中——那不是算力或数据的问题,而是如何让机器真正“理解”它所处的世界与要完成的任务之间的因果链条。