徐丹飞提出组合式世界模型，破解视频预测与机器人规划断层

在当前具身智能与世界模型领域，高保真视频生成技术虽然能够为机器人构建出逼真的未来画面，但在实际物理执行中却频频失效。这种现象揭示了一个核心矛盾：视觉生成并不等同于物理规划。面对复杂的长流程任务与物理约束，机器人往往陷入“看得懂画面，做不出动作”的困境。

针对这一难题，佐治亚理工学院助理教授、NVIDIA 研究员徐丹飞（Danfei Xu）提出了组合式世界模型（Compositional World Models）的概念。在他的主旨演讲中，徐丹飞详细阐述了如何利用模块化组件和因子图（Factor Graphs）来实现机器人在测试阶段的动态技能组合。

徐丹飞的核心思路是将复杂的系统解耦为多个简单的模块化组件，并在测试阶段进行动态组合。他借鉴了AI先驱马文·明斯基（Marvin Minsky）的思想，认为机器人应该像搭积木一样，在测试时动态拼装基础技能。例如，在执行“把重物放进冰箱”这类复合任务时，机器人需要同时掌握“双手抱重物”、“打开冰箱门”以及“高位摆放”等多个独立技能。然而，传统的生成模型往往无法在真实物理环境中有效组合这些技能。

为了解决这个问题，徐丹飞团队采用了因子图（Factor Graphs）来实现技能之间的顺畅衔接。因子图允许在时空维度上自由定义各种约束条件，确保前一个技能终止时的状态分布能够精准覆盖后一个技能的起始状态区间。这种方法不仅提高了信息传递效率，还显著降低了初始预测误差的影响。

此外，徐丹飞还强调了异构子图协同推理的重要性。通过将复杂的全局场景图动态分解为具有明确物理意义的子图，并在各个子图内部独立进行特征交互，可以针对性地学习不同关系类型的特定结构规律。最后，利用门控机制将各子图的推理结果整合回全局图中，确保不同类型的关系信息能够互补并达成全局一致。

实验结果显示，该方法在大规模三维语义场景图数据集3DSSG上取得了显著效果。相比现有的同构图学习范式，组合式世界模型有效缓解了长尾分布带来的性能瓶颈，提升了场景图预测的结构一致性和准确性。

徐丹飞的研究不仅为机器人规划提供了新的解决方案，也为未来的具身智能发展指明了方向。随着组合式世界模型的进一步完善，我们有望看到更多能够在复杂环境中自主完成任务的智能机器人出现。