NVIDIAAstra零样本操控成功率74.8%,大模型正重塑机器人研发路径

NVIDIA推出的通用大模型Astra在120个仿真机器人任务中实现74.8%零样本成功率,远超此前专用模型51%的纪录。其无需专门训练即可驱动机械臂执行操作,引发行业对“大小脑”架构与VLA模型路线...

人工智能 阅读量: 4.34万

近期,NVIDIA发布的通用大模型Astra在机器人领域引发广泛关注。该模型未经任何机器人任务专项训练,仅通过提示工程接入机械臂系统,在120个仿真操作任务中达成74.8%的成功率——这一成绩不仅刷新了RoboCurve等基准榜单纪录,更被部分从业者称为“机器人的GPT-3时刻”。

根据NVIDIA公开的Astranomy实验报告,测试使用Franka机械臂与三摄像头配置,任务为零样本(zero-shot)设定,每项任务重复5次。Astra以Agent角色调用Codex工具链执行动作规划时表现最优,成功率达74.8%;若由Astra直接输出关节指令,则为66.3%;而NVIDIA自研的小型专用模型Cosmos3独立运行仅为36.8%,Physical Intelligence公司的π0.5模型则为28.0%。值得注意的是,此前榜单第一的专用模型成绩为51%,Astra一举将上限提升近半。

性能跃升背后是若干关键设计发现:首先,模型选择影响巨大——同样直接输出动作,Astra达72.7%,GPT-6 Sol仅33.3%,Claude Opus 5.5更低至25.3%;其次,文本记忆显著优于视觉输入:仅提供文字历史时成功率87%,仅画面历史仅56.5%,二者结合可达100%;第三,几何先验信息至关重要:未告知相机与夹爪位置时成功率仅19.3%,补充后跃升至72.7%;第四,任务描述方式影响有限——添加成功回合视频截帧后为87.9%,纯文字描述反达90%。

尽管性能亮眼,Astra的推理延迟仍是现实瓶颈。在审核模式下,Astra平均每7步介入一次,主要因抓取失败(占64%);单次决策耗时约13–18秒,远高于专用模型的毫秒级响应。NVIDIA估算,一个“将酸奶倒入碗中”的任务在真实环境中需约4分钟完成,其中机械臂实际运动仅占5秒左右。有行业人士直言:“它拿起一个杯子要40分钟”,反映出当前具身智能对实时性要求仍显宽松。

这一突破之所以震动行业,在于它绕开了过去数年机器人AI的核心困境:传统方案长期依赖“大小脑”分层架构。例如谷歌2022年的SayCan系统,由语言模型负责高层规划(如“找海绵→拿海绵→递过来”),再从预训练技能库中调用底层执行模块。该路径虽逻辑清晰,却受限于技能库覆盖范围与语言到动作的精确映射难题——“往左一点”究竟对应几毫米位移,难以用自然语言精准表达。

2023年起,VLA(视觉-语言-动作)模型成为新主流,代表作包括谷歌RT-2与π0系列。这类模型将感知、理解与控制整合为单一神经网络,输入为图像+指令+本体状态,输出直接为关节动作序列。RT-2将动作编码为token逐个预测,π0则在骨干网络后附加动作专家模块生成连续轨迹。然而,VLA面临根本制约:互联网文本数据达数十万亿token,而高质量机器人示范轨迹仅数百万量级,数据鸿沟导致模型泛化能力受限。

Astra的出现揭示了一条新路径:通用大模型凭借海量语言与视觉预训练积累的常识与推理能力,可在极少甚至零机器人数据条件下完成复杂具身任务。其核心优势并非动作生成速度,而是任务理解与策略调整的鲁棒性——当环境变化或初始动作失败时,能基于上下文重规划而非简单重试。

这引发业内对技术路线的反思。FD在《Robotics’ New Era After Astra》中称,行业应“乐观100倍”,但“越来越不看好单独做机器人模型的公司”;OpenRUA团队则指出,现有榜单分数部分源于测试方法偏差,若严格按真机条件复现,成绩会明显下滑。争议本身恰恰说明:评估标准尚未统一,而范式转移正在发生。

NVIDIA消融实验三组关键对比

从技术演进看,VLM(视觉语言模型)到VLA的跨越,本质是将“理解世界”与“干预世界”合并。而Astra代表的第三阶段——“通用模型+具身接口”——则进一步解耦了认知能力与执行载体。正如图3所示,VLA需依赖机器人示范轨迹进行中/后训练,骨干部署参数通常仅30亿至150亿;而通用大模型(如Astra)依托互联网文本(数十万亿token)与多模态预训练,参数量级高出1–2个数量级,知识广度远超单一任务域。

国内动向亦同步加速。凤凰网报道显示,DeepSeek正评估是否切入具身智能赛道;梁文锋近期密集会见具身创业团队,反映资本与头部企业对这一拐点的高度关注。可以预见,未来竞争焦点将从“能否做出动作”转向“能否在动态环境中持续可靠地完成开放任务”,而通用大模型能否解决延迟与成本问题,将成为落地关键。

文章配图

目前,Astra尚未开源,其真机部署稳定性与硬件适配效率仍有待验证。但无论短期局限如何,它已清晰指向一个趋势:机器人智能的下一步进化,或将不再依赖专用数据与定制模型,而是建立在通用认知能力与具身接口的协同之上。