177、遥操作数据采集系统：基于VR与主从设备的数据采集与处理

177、遥操作数据采集系统：基于VR与主从设备的数据采集与处理

上周调试一套主从遥操作采集系统，遇到一个让人抓狂的问题：操作员戴着VR头显在虚拟环境里抓取物体，动作流畅得跟真人一样，但回放采集到的轨迹数据时，机械臂末端在空间里画出的路径却像喝醉了酒——抖动、漂移、甚至偶尔跳变到完全不合理的位置。一开始我怀疑是主手设备（Omega.7）的力反馈导致操作员手抖，后来把力反馈关掉，问题依旧。折腾了两天，最后发现罪魁祸首是VR头显的坐标系和主手设备的坐标系没有做时间戳对齐——VR端60Hz刷新，主手设备1kHz采样，两个数据流直接拼接，时间轴错位导致的空间插值误差。这个坑，今天必须写出来。

先说清楚这套系统到底在干什么。遥操作数据采集，本质上是让人类操作员通过某种接口（VR手柄、主手设备、甚至触觉反馈手套）去执行任务，同时把操作员的动作记录下来，作为后续训练模仿学习策略的训练数据。为什么不用程序自动生成数据？因为真实操作中包含大量隐式策略——比如抓取时手指的预形塑、接近物体时的速度调整、遇到阻力时的微调——这些很难用规则写出来，但人类操作员天然就会。所以数据质量直接决定了下游策略的上限，采集系统设计不好，后面所有工作都是白费。

系统架构上，我们用的是典型的双端结构：主端是操作员交互界面，包括VR头显（提供沉浸式视觉反馈）和主手设备（提供力反馈和精确位姿输入）；从端是机器人执行机构，通常是六轴或七轴机械臂加夹爪。数据采集的核心任务，就是把主端的操作员动作映射到从端的机器人运动指令，同时把从端的传感器状态（关节角、末端位姿、力传感器读数）同步记录。这里有个关键设计决策：数据流是单向的还是双向的？如果是纯采集（只记录操作员动作），那主端到从端是单向的；如果要做遥操作（操作员实时控制机器人），