从人类视频中学习切苹果:DexImit框架的革命性突破

7月13日,2026年机器人科学与系统顶级学术会议RSS(Robotics: Science and Systems)在澳大利亚悉尼拉开帷幕。作为机器人领域的最高规格学术盛会,今年的RSS接收论文数量...

人工智能

7月13日,2026年机器人科学与系统顶级学术会议RSS(Robotics: Science and Systems)在澳大利亚悉尼拉开帷幕。作为机器人领域的最高规格学术盛会,今年的RSS接收论文数量仅有约160篇,极低的接受率再次印证了其高含金量——每一篇被收录的论文都经过数百位顶尖研究者的严格评审。

在会议首日的“Manipulation 1: World Models & Memory”环节,来自全球顶尖实验室的研究者们展示了机器人操作领域的最新突破。这些研究共同指向一个趋势:机器人正在从依赖海量标注数据的传统范式中解放出来,向着“少样本、强泛化”的新阶段迈进。以下是该环节中几项具有代表性的研究成果,它们正在重新定义机器人如何以极低成本掌握精细操作技能。

从人类视频中学习切苹果:DexImit框架的革命性突破

在双臂灵巧操作领域,上海人工智能实验室和清华大学的研究团队提出了DexImit框架,该框架能够直接从单目人类视频中学习复杂的双手操作技能。传统方法需要昂贵的遥操作采集或仿真合成,而DexImit通过四阶段自动化生成管线,实现了从人类视频到机器人轨迹的无缝迁移。

具体而言,DexImit首先重建手-物交互的三维结构,然后进行任务分解与双臂调度规划,接着合成与人类演示高度一致的机器人轨迹,并通过数据增强确保零样本部署。这项技术的意义在于,它让机器人能够直接利用互联网上丰富的日常操作视频进行预训练,显著降低了机器人的“学会动手”门槛。

图片

触觉手套赋能跨物种对齐:TactAlign的创新实践

加州大学伯克利分校和Meta的研究团队展示了TactAlign技术,这项技术仅需人类佩戴触觉手套演示一次,机器人便能掌握拧灯泡等精细操作。传统方法要求设备高度一致且需要成对数据集,严重限制了扩展性。

TactAlign的核心创新在于使用整流流将人类和机器人的触觉观测映射到共享潜在空间,无需配对数据集或人工标注。通过对齐手物交互中的自然伪配对,该技术成功实现了人机触觉信号的跨物种对齐,为机器人学习提供了全新的数据来源。

双臂协同新范式:BiDemoSyn的数据合成革命

华南理工大学的研究团队提出的BiDemoSyn框架,则为双臂灵巧操作提供了新的解决方案。该框架将双臂操作任务拆解为“不变协调块”与“可变物体适应”两部分,通过视觉引导对齐和轻量级轨迹优化,仅需一段真实世界的示范视频,便能在数小时内合成数千条物理可行的多样化训练数据。

实验表明,用BiDemoSyn数据训练的策略不仅能鲁棒泛化到新物体的位姿和形状,还能实现零样本跨本体迁移,这意味着即便更换机器人平台,这套系统也能直接上手工作。这标志着我们距离“教一次就能干活”的实用双臂机器人又近了一步。

水下灵巧操作的突破:UMI Underwater项目

斯坦福大学的UMI Underwater项目则展示了机器人在水下环境中的灵巧操作能力。该项目通过学习水下操作技能,无需传统的水下遥操作,为海洋探索和水下作业提供了新的可能性。

这些研究成果共同揭示了一个清晰的发展方向:未来的机器人将不再依赖于昂贵的遥操作采集或大规模仿真,而是通过更智能的数据利用方式,实现更高效、更通用的操作能力。这一趋势不仅将推动机器人技术的实际应用,也将为相关产业带来深远影响。

随着RSS 2026会议的深入进行,更多关于机器人操作的前沿研究将陆续呈现。这些成果正在重新定义机器人学习的方式,为构建更加智能、灵活的机器人系统奠定了坚实基础。