国产GPU里程碑!摩尔线程S5000具身RL训练曲线追平国际主流
9月23日,摩尔线程在MUSA开源技术沙龙上公布MTT S5000 GPU在具身智能强化学习训练中的实测结果。该芯片与国际主流GPU的训练曲线高度吻合,逐步相关系数达0.976,并在多项工程优化后实现...
在近日举办的"MUSA开源技术沙龙:RLinf × MUSA Meetup"上,国产GPU厂商摩尔线程宣布其MTT S5000芯片在具身智能强化学习(RL)训练中取得重要突破。据测试数据显示,在248个并行环境、相同配方与随机种子的控制变量条件下,MTT S5000与国际主流GPU的训练曲线高度吻合,逐步相关系数达到r=0.976。
这一成果来自清华大学深圳国际研究生院助理教授于超团队基于RLinf框架的全量适配与复现工作。团队采用GRPO算法进行rollout action,利用WAN世界模型模拟执行结果,并通过ResNet评估对错给出奖励,全程无需真实机器人参与即可完成RL后训练。在真机LIBERO-Spatial评估中,两套硬件训练出的策略成功率实现对齐。
值得注意的是,此次测试不仅验证了MTT S5000的AI算力性能,还展示了其在渲染与仿真方面的优势。RLinf开源框架负责人于超表示,渲染能力是选择摩尔线程的关键考量之一,"摩尔线程是国内除国际主流GPU厂商之外,少数能在渲染环节提供成熟支持的算力伙伴。"
在工程优化方面,摩尔线程团队对单步耗时进行了三项关键改造:将图像处理从主机端迁移至GPU端、合并去噪循环的数值检查、将热路径上的Python标量替换为设备张量。这些优化使整步耗时从2549秒降至1888秒(下降26%),GPU空转率由18.5%压缩至3.1%。
算子级基准测试显示,MTT S5000的GEMM与注意力性能达到国际主流GPU的1.6至2倍。在实际应用中,基于π0.5的"策略自进化数据飞轮"让双臂机器人装配GPU的真机成功率从约两成稳定至92%,精细操作耗时缩短39.5%;极佳视界GigaBrain-0.7则将四项精细操作平均成功率从30%经离线RL提升至57.5%,在线RL后进一步提升至100%。
摩尔线程高级副总裁杨上山指出,具身智能对算力的需求是复合的,既需要训练"大脑"的AI算力,也离不开构建虚拟世界的渲染与仿真算力,这正是全功能GPU的用武之地。此次MTT S5000的表现表明,国产算力已经能够满足具身智能领域的复杂需求。
随着RLinf官方CI自0.3版本起正式接入MTT S5000,所有代码在合入主分支前均须基于国产算力完成自动化验证。这意味着国产算力与国产具身强化学习框架已从单向适配进入双向共建阶段,为后续的软硬件协同创新奠定了基础。