OpenFlex VLA 数据采集与部署

速览

这个项目面向 OpenFlex 全身移动操作，任务是结合底盘移动，将桌面物品抓起并放入箱子。我负责 VR 示教采集、ROS2—LeRobot 桥接、策略训练适配与真机部署，在既定观测与动作协议下完成机器人与学习策略的接入。

每个任务约采集 100 条示教，在单张 A800 80 GB 上进行 ACT、π0、XVLA 和 π0.5 的相关训练适配，并在 RTX 3090 本地部署。项目已完成包含底盘移动的真机抓放任务，以及本地异步推理与 RTC 接入，使动作执行与下一段动作生成解耦，并处理动作片段衔接。

架构

ROS2—LeRobot 桥接分为机器人侧与示教侧：机器人侧将多路 RGB、关节、头部、升降台状态和 FAST-LIO 里程计整理为模型观测，并在部署时回写策略动作；示教侧读取 VR 遥操作命令，作为采集阶段的动作标签。录制程序读取观测与命令，机器人由遥操作控制；回放或策略部署前退出遥操作，明确控制权。

LeRobot 环境和 Schema、状态与动作维度选型沿用既定方案，我负责字段映射及其在采集、训练和部署中的一致性适配。既定 22 维动作协议覆盖双臂与夹爪、头部、升降台和底盘速度命令；桥接层将动作拆分到各 ROS2 控制接口。多路图像的名称、数量与预处理按具体模型配置和 checkpoint 匹配。

训练端接入 ACT、π0、XVLA 和 π0.5 的相关流程。ACT 属于视觉模仿学习与动作分块策略，语言条件 VLA 的任务描述则按各模型接口接入。部署端在 RTX 3090 本地组织异步推理、动作队列与 RTC；RTC 采用已有算法能力，我负责工程接入和部署适配。

1. 01

   VR 遥操作驱动机器人；示教侧读取动作命令，机器人侧整合多路图像、状态与里程计观测。

2. 02

   按既定 Schema 写入 LeRobot episode，采用相对本条示教起点的底盘位姿表达，并通过回放检查动作映射。

3. 03

   在单张 A800 80 GB 上完成相关策略的训练适配，使图像字段、状态动作语义与预处理保持配套。

4. 04

   在 RTX 3090 本地加载配套权重与配置，通过异步推理和 RTC 组织动作片段生成与执行衔接。

5. 05

   机器人侧桥接将模型动作拆分为双臂、夹爪、头部、升降台和底盘命令，执行包含底盘移动的抓取与放箱任务。

流程

难点

数据能够写入并不代表监督信号正确。动作标签需要来自示教命令，图像与状态需要关注缓存和消息新鲜度；按同一录制循环整合多路观测时，也要检查观测与动作是否存在明显错位。采集与部署采用同一套字段语义，才能让模型输出正确对应实际执行器。

底盘使用 FAST-LIO 里程计，并以每条示教的起点建立局部位姿表达：将位移转换到起点朝向对应的坐标系，并对航向差归一化。这能减少对绝对场地坐标的依赖，实际可用范围仍取决于示教覆盖与部署条件。

较重模型的推理节奏与动作发送节奏存在差异。本地异步推理将动作执行与下一片段生成并行组织；RTC 结合剩余动作片段和延迟信息处理新旧片段衔接。双臂动作回写还使用平滑与单步变化限制，这些机制分别处理调度、片段衔接与输出变化。

调试

部署动作异常的分层排查

现象

模型能够加载、动作维度匹配后，仍需通过真机联调检查动作映射、时序和片段衔接。

排查

按控制权、字段语义、观测新鲜度与动作片段的顺序排查：确认遥操作已退出，核对关节与夹爪映射及单位，再检查观测缓存、推理延迟和队列衔接。

结论

先通过示教回放检查数据与动作发布链路，再定位策略输出和执行节奏问题；本地异步、RTC 和输出平滑分别检查，避免把不同层面的动作异常归为同一个原因。

成果

完成了 OpenFlex 从 VR 示教采集、ROS2—LeRobot 观测与动作桥接、相关策略训练适配到真机部署的完整工程链路。每个任务约采集 100 条示教，使用单张 A800 80 GB 训练，并在 RTX 3090 本地完成包含底盘移动的桌面抓取与放箱任务。

我的核心贡献是让既定数据协议、模型输入输出和机器人控制接口在采集、训练与部署三个阶段保持一致，并完成本地异步推理及 RTC 的工程适配，将学习策略接入可检查、可联调的真机执行系统。

相关博客