破晓智能发布SeePhysHub全身全模态采集系统,同步获取视觉、触觉与全身运动数据

10月14日,破晓智能联合天珑移动推出首款工程化产品SeePhys Hub,通过四目头环、腕部手环、腰腿部追踪器及触觉手套,实现第一视角视觉、双手高密度触觉与全身位姿受力的同步采集,旨在提升机器人训练...

人工智能

10月14日,破晓智能(PHANES AI)联合天珑移动正式发布全身全模态人类行为数据采集系统 SeePhys Hub。该系统并非简单堆叠传感器,而是针对具身智能训练中长期缺失的关键交互维度——身体协同运动与手-物接触压力——进行系统性补全,在保持Ego(第一人称视角)设备轻便性的同时,首次实现视觉、触觉与全身运动信息的高精度同步采集。

SeePhys Hub 整套硬件由四部分构成:一个四目头环(含前、后、左、右共4个摄像头)、两个腕部手环、三个腰腿部动作追踪器(分别佩戴于腰部、左小腿与右小腿),以及一副集成高密度压感阵列的触觉手套。头环提供360°环视覆盖的第一视角视觉数据;腕部手环除记录手腕位姿外,还内置微型摄像头捕捉掌内视角操作细节;腰腿部追踪器基于IMU与UWB融合定位,实时重建躯干与下肢的六自由度位姿及地面反作用力;触觉手套则以每只手超100个传感点的密度,记录指尖、指腹与手掌各区域的压力分布与时序变化。

这一设计直指当前Ego采集范式的局限。以铺床为例,仅靠头戴式第一视角相机,可记录双手抓握被角的动作,却无法获知身体是否后退半步以调整拉伸角度,也难以量化手指施加的牵引力大小——而这些恰恰是任务成功的关键变量。破晓智能指出,具身智能模型若仅依赖视觉输入,将被迫从像素中“逆向推断”身体状态与接触力学,学习效率受限。SeePhys Hub 的核心价值在于将原本隐含在动作中的物理状态显式化,使机器人能直接学习“身体如何移动→手在哪里接触→压力如何变化→环境如何响应”这一完整因果链。

硬件参数上,系统兼顾便携性与持续性:头环整机重量≤220克,单个腕部手环≤75克,支持连续24小时不间断采集;头环内部多模态传感器(相机、IMU、UWB)的时间同步误差控制在0.5毫秒以内,确保视觉帧与运动信号在亚毫秒级对齐,为后续跨模态对齐奠定基础。

采集只是起点,数据处理才是通向机器学习的关键环节。SeePhys Hub 配套自研数据平台负责全流程后处理:原始数据经清洗后,按语义动作切分为片段;结合场景重建、全身姿态估计与手部动作追踪模块,生成带空间坐标与力反馈的结构化标注;最终通过动作重定向技术,将人类动作映射至不同构型的机器人本体,输出可用于策略训练的标准化多模态样本。

SeePhys Hub 系统组成示意图

该系统是破晓智能沿“EgoTouch → TouchAnything → TouchWorld”技术路线演进的首个工程化落地产品。早期EgoTouch实现了第一视角视觉与双手位姿、压力的同步采集;TouchAnything探索了从纯视觉估计接触状态的方法,以扩展触觉数据规模;TouchWorld则进一步让触觉参与机器人闭环控制——触觉从被动记录信号,逐步转变为预测与决策的主动依据。SeePhys Hub 将上述研究积累整合为一套即用型采集方案,标志着触觉与全身感知从实验室验证迈向规模化数据生产阶段。

值得注意的是,破晓智能创始人杨朔为哈尔滨工业大学(深圳)计算机科学与技术学院长聘教授,团队长期聚焦具身智能底层数据基础设施。其目标并非止步于采集设备本身,而是构建面向“全身移动灵巧操作”的世界模型:当机器人移动位置、调整姿态或改变接触方式时,模型应能预测环境反馈,并结合实时触觉修正动作选择。SeePhys Hub 正是为此类模型训练提供高质量数据底座的关键一环。

行业层面,当前具身智能训练面临显著的数据瓶颈。有研究估算需约1亿小时Ego数据才能支撑通用能力,但数据量不等于有效性。破晓强调,衡量数据价值的核心指标应是“每小时数据能让机器人学到多少”,而非单纯追求采集时长。通过补全身体与接触模态,SeePhys Hub 有望将百万小时量级的全模态数据转化为更高学习效率的训练素材,尤其适用于需要动态协调上下肢与精细手控的复杂任务,如家庭服务、仓储分拣或医疗辅助操作。

在实际应用中,该系统已用于人-机器人协同动作建模。例如,对比人类徒手叠放积木与双臂机械臂执行同类任务时,SeePhys Hub 可精确捕获人类在调整重心、微调握持力度与预判滑动风险时的多模态响应,为机器人模仿学习提供超越视觉表观的深层策略线索。

目前,SeePhys Hub 已开放小规模合作测试,面向高校科研团队与机器人企业用户。破晓智能表示,后续将迭代轻量化版本,并拓展至更多日常场景(如厨房操作、家具组装)的数据采集模板库,推动具身智能从“看得见”走向“做得准、做得稳”。

具身智能的发展正从单一模态转向多模态协同建模,SeePhys Hub 的发布表明:真正有效的数据采集,不是追求设备更轻或更隐蔽,而是在自由度与信息完整性之间取得新平衡。当机器人开始理解“人如何用整个身体完成一件事”,其泛化能力才可能真正接近人类水平。