网通社科技快报
GPT6 Astra驱动机器人 清华开源RPent任务成功率92.6%
近日,清华大学联合无问芯穹、正行创新等机构推出并开源了名为RPent的具身智能体基础设施,标志着通用大模型GPT-6 Astra在物理世界应用的重要突破。该系统通过整合GPT-6 Astra的决策能力与视觉语言模型(VLA)等专家模型,构建了一个闭环系统,使机器人能够在真实环境中持续学习和进化,显著提升任务执行能力。
RPent的核心设计理念是让机器人实现“想得明白、看得见、做得到、反应快、记得住”。其系统包含三层接口设计:MCP(基础模型)、RPC(工具与动作原语)和MHS(设备级抽象),串联起从大模型到物理设备的完整链路。在LIBERO-PRO基准测试中,采用RPent系统的机器人任务成功率达到92.6%,端到端任务完成速度优化了7倍以上,充分展示了其适应环境变化和复用已有技能的能力。
具体应用场景中,RPent系统能够灵活调整动作策略。例如,在餐具收纳任务中,机器人会根据当前环境重新选择放置位置,而非机械沿用训练时的动作。此外,它还能将已有技能组合复用,如将抓取动作与双臂协同结合,完成持盘、擦拭和收纳等复杂任务。这些功能通过Task Card形式沉淀,供后续调用。
这一进展引发了业界广泛关注。CMU Robotics的Wenli Xiao展示,GPT-6 Astra可通过简单的视频输入控制机械臂完成新任务,被称为“物理世界中的上下文学习”(physical ICL)。RoboCurve的研究也表明,连接GPT-6 Astra的机械臂在抓取红色积木任务中成功率高达95%,远超现有解决方案。
RPent的开源标志着具身智能领域的重要里程碑,不仅验证了通用大模型在物理世界的潜力,也为机器人技术的发展提供了全新思路。随着更多研究者参与,未来有望看到更加智能、灵活的机器人在各领域广泛应用。
RPent的核心设计理念是让机器人实现“想得明白、看得见、做得到、反应快、记得住”。其系统包含三层接口设计:MCP(基础模型)、RPC(工具与动作原语)和MHS(设备级抽象),串联起从大模型到物理设备的完整链路。在LIBERO-PRO基准测试中,采用RPent系统的机器人任务成功率达到92.6%,端到端任务完成速度优化了7倍以上,充分展示了其适应环境变化和复用已有技能的能力。
具体应用场景中,RPent系统能够灵活调整动作策略。例如,在餐具收纳任务中,机器人会根据当前环境重新选择放置位置,而非机械沿用训练时的动作。此外,它还能将已有技能组合复用,如将抓取动作与双臂协同结合,完成持盘、擦拭和收纳等复杂任务。这些功能通过Task Card形式沉淀,供后续调用。
这一进展引发了业界广泛关注。CMU Robotics的Wenli Xiao展示,GPT-6 Astra可通过简单的视频输入控制机械臂完成新任务,被称为“物理世界中的上下文学习”(physical ICL)。RoboCurve的研究也表明,连接GPT-6 Astra的机械臂在抓取红色积木任务中成功率高达95%,远超现有解决方案。
RPent的开源标志着具身智能领域的重要里程碑,不仅验证了通用大模型在物理世界的潜力,也为机器人技术的发展提供了全新思路。随着更多研究者参与,未来有望看到更加智能、灵活的机器人在各领域广泛应用。