李云竹在CoRL2026提出,世界模型需具备可控性,方能支撑机器人训练与评估
哥伦比亚大学助理教授、World Labs联合创始人李云竹在机器人学习会议CoRL 2026工作坊中指出,显式构建可控的世界模型对机器人策略的可复现性与可扩展性评估至关重要。他强调,当前大规模模仿学习...
2026年11月12日上午,机器人学习顶级会议CoRL(Conference on Robot Learning)在奥斯汀JW Marriott酒店举办半日工作坊「机器人需要世界模型吗?」。该议题直指当前具身智能发展的核心分歧:机器人是否应显式构建一个能预测动作后果的“世界模型”,还是仅依赖端到端策略直接映射感知到动作?哥伦比亚大学计算机科学系助理教授、World Labs联合创始人李云竹作为压轴讲者兼辩论主持人,系统阐述了其团队关于世界模型在训练与评估中不可替代作用的观点。
李云竹开篇即厘清概念边界:所谓“世界模型”或“动力学模型”,本质是前向预测系统——以当前状态与动作作为输入,输出未来状态;而策略模型(policy model)则是其逆过程:给定目标状态,反推所需动作。二者并非互斥,而是协同关系。他指出,尽管当前行业大量投入于扩大模仿学习规模(large-scale imitation),但回溯成功落地的机器人系统——从无人机、火箭到足式行走机器人——无一例外都依赖于一个足够精确的内部模型。“模型不必完美”,他举例称,“没人模拟雪地或灌木丛,但通过合理随机化与仿真到现实迁移(sim-to-real transfer),仍可获得稳健策略。”
这一观察引出其课题组的核心路径:为操作任务(robotic manipulation)构建可控、可扩展的世界模型。难点在于,操作场景涉及机器人、物体与环境三者动态交互,世界高度杂乱且非结构化。李云竹承认挑战巨大,但强调“不应因困难而放弃尝试”。其团队采用“真实→仿真→真实”的闭环流程:先将真实环境数字化,再通过仿真生成数据,最终回归真实验证。该思路与其人类认知类比——人脑虽无精确物理方程,却能凭直觉预测面团受力后的形变,并据此决策。
为实现该目标,李云竹团队长期深耕两类技术路线。其一是纯数据驱动模型,如Genie系列,虽表现优异,但李云竹指出其在复杂交互下仍存在一致性缺陷,“即使增加算力与数据,也难以根本解决”。其二是基于物理引擎的仿真系统,如NVIDIA Isaac、MuJoCo等,优势在于强一致性,但依赖完整环境状态信息——而现实中许多传感器无法提供此类全观测量。
在此背景下,其团队发展出“基于图的动力学模型”(Graph-Based Neural Dynamics, GBND):将环境抽象为节点(如物体、关节)与边(相互作用力),用神经网络学习节点间动态演化规律。该方法已在可变形物体操作任务(如捏面团)中验证有效性。相关成果汇总于2025年9月17日发表于《Science Robotics》的综述论文《面向机器人操作的基于学习的动力学模型综述》,李云竹为通讯作者。该文结构源于其博士论文框架,系统梳理了十年来学习型动力学模型的发展脉络与关键挑战。
值得注意的是,李云竹特别强调数据复用价值。他指出:大规模模仿学习所采集的数据——即“以动作为条件的机器人交互序列”——本身即蕴含丰富动力学信号。“若仅用于拟合策略,是一种浪费。”他主张将同一套数据同时用于训练策略与构建世界模型,形成双轨并行的学习架构。这不仅提升数据效率,更使策略评估具备可解释性:当策略失效时,可通过世界模型回溯预测偏差,定位问题根源(是感知错误、动作执行偏差,还是环境建模失准)。
进一步,他提出“可控性”是世界模型实用化的关键门槛。所谓可控,指模型必须支持反事实推理(counterfactual reasoning)与干预实验(interventional queries)——例如,“若机器人换用另一只手抓取,结果会如何?”“若桌面摩擦系数翻倍,轨迹是否仍稳定?”只有满足此条件,世界模型才能真正服务于策略的可复现评估与安全验证。这也呼应了工作坊第三项动议:“显式世界模型为可复现、可扩展的策略评估所必需。”
李云竹透露,其团队下一步将拓展至更复杂任务:处理异质交互(如刚体与流体耦合)、开放环境(非封闭实验室场景),并探索如何将世界模型嵌入具身智能体的长期规划循环中。他坦言,当前多数端到端策略仍是“黑箱”,缺乏调试与归因能力;而一个结构清晰、可控的世界模型,可成为连接感知、决策与执行的“中间表征层”,既保障安全性,又提升泛化潜力。
业内观察认为,李云竹的立场代表了机器人学习领域一种日益清晰的转向:从追求端到端性能上限,转向构建可理解、可干预、可组合的模块化系统。尤其在工业与服务机器人亟需高可靠性的背景下,世界模型的可控性已非学术偏好,而成为工程落地的必要前提。随着仿真工具链成熟与多模态感知进步,显式建模路径正从“可选”走向“必需”。
李云竹最后总结道:“我们不是要取代策略学习,而是为其提供一个可信赖的‘沙盒’——在那里,每一次失败都有迹可循,每一次改进都有据可依。”
