机器人训练数据配对现4类时间混淆 70%开源数据集未明确定义

机器人训练中常见做法是将时间戳最近的动作与图像帧配对作为样本，但该方法隐含严重偏差——时间接近不等于因果成立。研究基于Diffusion Policy等开源实现揭示，动作时间常为计划时间（target_time），即期望轨迹抵达目标位姿的时刻；而图像时间多为相机接收时刻，属传感器反馈时间，二者物理意义不同，中间隔有调度、插值、伺服控制与通信延迟。插值过程受运动学约束，如100mm位移在500mm/s限速下需200ms完成，即使请求设为100ms，实际轨迹端点仍被修正为200ms，此仍为规划结果而非实测到达时刻。多源时钟同步问题加剧误差：相机、控制器与主机使用不同内部时钟，未经校准的时间差无法直接解释为延迟。请求过滤机制亦易致误标——发送端提交的动作序列中，仅未来时间点被接收执行，若训练数据未区分已执行与未执行请求，模型将学习虚假因果。研究提出应为每个时间字段明确四项语义：单位、时钟来源、采集位置、对应事件类型，例如target_time为“计划到达”、control_sample_time为“命令生成”、robot_receive_timestamp为“状态接收”。一项对12个主流机器人数据集的回顾发现，超70%未说明时间戳语义，约40%混用计划与反馈时间，易使模型拟合时间伪相关性而非真实状态-动作映射。解决方案包括构建可验证的数据谱系、采用硬件时间戳注入、事件相机或ROS 2带时间戳消息机制，确保从动作发起至记录全程标注事件类型与时钟域。