Lumo-2:让机器人拥有「见闻色霸气」

在人工智能与机器人技术深度融合的今天,具身智能(Embodied AI)成为连接虚拟与现实的关键桥梁。7月15日,国内具身智能创业企业星尘智能正式发布其第二代具身基座模型Lumo-2,以及面向长期人机...

人工智能

在人工智能与机器人技术深度融合的今天,具身智能(Embodied AI)成为连接虚拟与现实的关键桥梁。7月15日,国内具身智能创业企业星尘智能正式发布其第二代具身基座模型Lumo-2,以及面向长期人机共处的物理AI智能体Philia。这两项发布标志着星尘智能在构建「AI模型—具身OS—绳驱本体」三层体系上迈出了重要一步。

Lumo-2:让机器人拥有「见闻色霸气」

星尘智能将Lumo-2称为「家庭隐式世界—动作模型」(Latent World-Action Model),其核心功能类似于动漫《海贼王》中角色的「见闻色霸气」——能够感知环境变化并预测未来。具体而言,Lumo-2通过结合当前视觉观察、机器人自身状态、语言指令以及过去一段时间的动作历史,对即将发生的物理变化进行概率性短期预测,从而优化动作执行。

这种预测并非生成完整的视频画面,而是聚焦于与控制直接相关的物理变化,例如物体移动轨迹、容器倾倒状态、手部与物体的接触方式等。这种方式既避免了完整视频预测所需的高昂算力成本,又保留了对未来动作的指导意义,被星尘智能团队称为「面向行动的未来草稿」。

覆盖22+复杂家庭任务

在实际演示中,Lumo-2展示了其在超过22项家庭任务中的出色表现,包括但不限于:接住滚落的球、将杯子放到旋转杯架上、煎鸡蛋并颠锅翻面、称取500克小米、磨粉制作咖啡、调制饮品、给礼盒打蝴蝶结、整理行李箱并拉上拉链、熨烫和悬挂衣服等。

这些任务看似日常,但对机器人的理解能力和动作精度提出了极高要求。例如,在接球和抓取滚动鸡蛋时,机器人需要理解物体运动趋势;在煎蛋和洗碗时,要判断任务进行到了哪个阶段;而在制作咖啡或打蝴蝶结时,则需要处理较长的动作链条和精细的手部协调。

突破传统VLA模型局限

与传统的视觉-语言-动作(VLA)模型相比,Lumo-2在观察与动作之间加入了「潜在世界动态」这一中间层。传统VLA模型通常根据视觉观察和语言指令直接输出动作,虽然技术成熟,但容易产生「反射式」局限——即模型学习了某种视觉输入对应什么动作,却不一定明确理解这个动作将如何改变环境。

Lumo-2则通过在压缩的隐空间中预测与任务相关的未来变化,再根据这份预测生成动作。这种方式不仅减少了背景、光线等无关因素的干扰,还使得机器人能够在单帧图像难以分辨的情况下,通过结合短期动作历史来判断当前所处的任务阶段。

三阶段渐进式训练

为了进一步提升模型的稳定性和泛化能力,Lumo-2采用了三阶段渐进式训练方法。第一阶段让动作与视觉世界变化对齐,模型同时观察前后两个时刻的画面和对应动作,从视觉变化中筛选与物理运动有关的信息,并用动作反过来约束视觉表示。这种方法有效减少了光照变化、背景扰动等无关因素对世界动态表示的影响。

第二阶段专注于动作表征的重新处理。机器人动作通常是一组连续信号,如机械臂位姿、旋转角度、速度和夹爪开合程度。过去不少模型会将这些信号压缩成动作token,但星尘智能认为,动作还原得准确并不必然意味着实际控制效果更好。Lumo-2通过深入理解动作与物体、任务和语言之间的关系,使得模型在新环境中的表现更加稳定可靠。

第三阶段则是模型的迁移和评估。通过混合多视角机器人数据和人类示范数据,Lumo-2能够在不同场景下进行快速适应和优化,确保其在真实家庭或工厂环境中的实用性。

与Agent时代的交汇

值得注意的是,就在同一天,另一家科技公司阶跃星辰在上海发布了全球首个大模型原生AI终端品牌STEPX及其智能体原生操作系统Step AOS。这表明,随着大模型技术的快速发展,AI智能体正逐步从「能思考」迈向「能行动」,为Agent时代提供了真正的物理入口。

星尘智能创始人表示:「Lumo-2的发布不仅是技术上的突破,更是我们向真正意义上的具身智能迈进的重要一步。我们相信,通过不断优化AI模型与具身系统的结合,未来的机器人将能够更好地服务于人类生活,成为我们日常生活中的得力助手。」

图片

技术对比图表

| 模型 | 动态场景 | 运动推理 | 记忆 | 物理理解 | 长期执行 | 精细操作 | |------|----------|----------|------|----------|----------|----------| | Fast-WAM | 68% | 55% | 45% | 70% | 25% | 50% | | Lumo-2 | 80% | 78% | 82% | 85% | 80% | 88% |

图表显示,Lumo-2在各项关键指标上均显著优于Fast-WAM,特别是在物理理解、长期执行和精细操作方面,分别提升了15%、55%和38%。

未来展望

随着Lumo-2的发布,星尘智能不仅展示了其在具身智能领域的技术实力,也为行业树立了新的标杆。未来,该公司计划将Lumo-2与更多类型的机器人本体结合,拓展其应用场景至工业制造、医疗护理等领域。同时,星尘智能还将继续优化其具身OS Philia,使其能够更好地管理和协调多个机器人协同工作,为实现真正的「人机共处」目标奠定基础。