无问芯穹联合清华上交开源APXInf,具身智能端侧推理引擎达SOTA
无问芯穹联合清华大学、上海交通大学正式开源具身端侧推理引擎APXInf。该引擎针对机器人本体算力限制,通过系统性优化实现推理延迟降低10.7倍,性能达到PI 0.5 FP8标准,为具身智能规模化落地提...
近日,无问芯穹(Infinigen)联合清华大学、上海交通大学正式开源具身端侧推理引擎APXInf,标志着具身智能技术在规模化落地的关键环节取得突破性进展。
具身智能是指机器人能够通过感知环境、理解指令并作出实时决策的能力。然而,将云端训练良好的模型部署到机器人本体时,面临诸多挑战:如何在有限的硬件资源下实现快速加载、低延迟推理以及高稳定性运行。这些问题成为制约具身智能从演示阶段走向实际应用的主要瓶颈。
APXInf引擎的发布填补了这一空白。该引擎支持RTX 4090、Jetson Orin、Jetson Thor等主流计算平台,覆盖从模型开发到机器人本体部署的完整链路。通过多层优化,包括Pipeline、Graph、Kernel及量化等技术手段,APXInf显著提升了具身模型在机器人上的推理性能。
具体而言,在Jetson AGX Thor平台上,APXInf实现了PI 0.5 FP8标准下的端到端推理延迟从278ms降低至26ms以内,性能提升超过10.7倍。同时,推理频率达到38.46Hz,完全满足机器人多场景下实时控制的需求。这些改进使得具身模型能够在机器人本体上实现更快、更稳、更敏捷的运行效果。
在实际应用场景中,APXInf的表现同样令人印象深刻。以模拟物流分拣环境为例,使用APXInf加速后,分拣机器人的识别物体响应速度提升4倍,成功率大幅提高。这表明APXInf不仅在理论性能上有显著提升,在实际操作中也能带来可观的效率改善。
无问芯穹表示,APXInf的设计充分考虑了机器人端侧场景的特点,旨在解决开发者在模型接入、验证和扩展过程中遇到的工程难题。通过提供一套兼顾性能与工程效率的解决方案,APXInf希望推动具身智能技术从POC(概念验证)阶段向规模化落地迈进。
此次开源不仅展示了无问芯穹在具身智能领域的技术实力,也为行业提供了重要的参考框架。随着具身智能技术的不断发展,像APXInf这样的端侧推理引擎将成为连接云端模型与物理世界的重要桥梁,助力机器人技术在更多领域实现广泛应用。