香港大学联合项目论文解读 |Bunny-VisionPro：用于模仿学习的低成本实时双臂灵巧遥操作系统
在机器人遥操作领域，双臂灵巧手的协同控制一直是难点。现有系统普遍面临三大挑战：一是难以精准协调双手完成复杂操作，二是缺乏有效的触觉反馈导致沉浸感不足，三是在保证安全性（如碰撞、奇异点规避）的同时难以维持实时性能。这些问题直接限制了高质量人类演示数据的收集，进而影响下游模仿学习的效果。 香港大学与加州大学圣地亚哥分校联合研发的Bunny-VisionPro系统，以VR头显（Apple Vision Pro）为核心交互载体，通过创新的模块化设计，解决了上述痛点： 提出低成本触觉反馈方案，增强操作者沉浸感； 实现实时碰撞与奇异点规避，保障操作安全性； 显著提升遥操作成功率和效率，同时优化模仿学习的泛化能力。 1. 手臂运动控制模块 功能：基于操作者腕部姿态，实时计算机器人手臂关节角度，同时处理碰撞规避与奇异点问题。 创新点：无需高端GPU，通过统一优化目标（融合逆运动学、碰撞成本、奇异点成本）实现高效计算，确保实时性（>60Hz）。 碰撞规避：将机器人连杆建模为球体集合，通过简化距离计算加速碰撞检测； 奇异点规避：基于雅可比矩阵行列式的可操作度指标，仅在接近奇异点时触发惩罚机制。 2. 灵巧手重定向模块 功能：将人类手指运动精准映射到机器人手，支持含环形关节（如四杆机构）的灵巧手。 创新点：通过低维优化（仅考虑主动关节）处理被动关节约束，相比传统方法提速多倍，实现300Hz实时重定向。 优化目标：最小化人类与机器人指尖向量差异，同时保证关节运动平滑性。 3. 触人体觉反馈模块 设计：采用低成本偏心旋转质量（ERM）致动器，搭配指套为操作者提供触觉反馈。 信号处理：通过零漂移校准和低通滤波优化机器人手部FSR 传感器数据，再通过PWM调制驱动振动电机，增强操作精准度。 4. 系统协同设计 模块化架构：各模块独立运行，避免延迟累积； 双臂初始化对齐：支持多种模式（如分别对齐、中心对齐），动态匹配人类与机器人双手间距，确保协同自然。 图1：远程操作系统。操作员分别使用手指和手腕姿势来控制机器人的手和手臂。该系统的视觉和触觉反馈，再结合其四项实时功能，为操作员提供了直观且身临其境的VR体验。 机械臂：2台UFactory xArm-7机械臂（7 自由度），每台配备6自由度Ability 手，总自由度24；每个手指含30个FSR触觉传感器。 视觉设备：2 台 RealSense L515相机，分别置于机器人工作空间前方和顶部，用于捕捉视觉数据。 计算设备：CPU为i7-12700KF，无需GPU支持实时运算。 交互设备：Apple Vision Pro（用于跟踪手部姿态）、配备ERM致动器的指套（提供触觉反馈）。 任务测试 (a)苹果Vision Pro捕捉到的手部姿势被转换为机器人运动控制指令，用于实时远程操作。机器人通过Vision Pro和配备执行器的指套向操作员提供包括视觉和触觉在内的感官反馈。(b)设计了不同的短期任务（左列）和长期任务（右列），以评估远程操作性能及其在模仿学习中的应用。 模仿学习 研究团队通过训练流行的模仿学习算法（ACT、扩散策略和 DP3），并测试其在空间泛化和未知场景下的泛化性能，来评估系统收集的演示质量。此外，还训练了一些具有挑战性的长视域任务，以展示系统在收集高质量演示方面的有效性。 表1：遥操作系统评估。我们对采集成功率（Success）、片段长度（EpLen）、采集时间（单位：分钟，Time）以及机械臂的关节位置变化（∆Qpos）进行了测量。 表2：现实世界任务的模仿学习。成功率（SR）基于10次试验，其中SR-SG表示空间泛化的成功率，SR-U表示对未见物体的成功率。 对比实验 手臂运动控制：Bunny-VisionPro 与 AnyTeleop+ 在以下视频中可以看到，AnyTeleop+出现了一些奇怪的行为，例如第 2 关节运动过度、手臂意外下垂等。此外，它还存在延迟不稳定的问题，无法实时跟踪目标末端执行器（半透明球）的位置。 相比之下，Bunny-VisionPro 的运动轨迹更加自然、稳定且响应迅速，不仅提升了远程操作的精度和效率，还能收集高质量的数据，从而实现有效的模仿学习。 关键成果与突破 突破双臂灵巧遥操作瓶颈，实现低成本下的实时协同控制与安全保障。 以低成本触觉反馈，革新交互体验，增强操作沉浸感。 提升模仿学习数据质量，显著增强其在复杂场景中的泛化能力。 降低双臂灵巧机器人应用门槛，推动技术向实际场景落地。 结语 Bunny-VisionPro 通过模块化设计与创新算法，突破了双臂灵巧遥操作的核心瓶颈，在安全性、实时性和沉浸感上实现了兼顾。其低成本方案与高效数据收集能力，为模仿学习提供了高质量演示数据，推动了复杂机器人操作任务的落地。 该研究为双臂机器人遥操作与模仿学习领域提供了新范式，有望在工业协作、远程服务等场景中发挥重要作用。 项目详情：https://dingry.github.io/projects/bunny_visionpro.html
关于BFT白芙堂机器人
BFT（白芙堂）机器人是智能机器人一站式服务平台，能为客户提供机器人选型、培训、解决方案、在线采购、本地化定制等高性价比的一站式服务。平台产品涵盖协作机器人、工业机器人、移动机器人、SCARA机器人、服务机器人、机器人夹爪、三维机器视觉设备、3D工业相机等十余种品类，实现机器人产业链产品全覆盖，并广泛应用于工业制造、实验室自动化、智慧零售、教育科研等行业。平台已与国内外知名机器人企业达成战略合作，并拥有专业的工程师团队，能为客户提供算法及系统定制、职校教学、科研实验室平台搭建、机器人展厅定制等服务，支持一对一技术支持和二次开发。
