论文解读 | Franka 机器人沉浸式远程操作：高斯溅射 VR 赋能的遥操框架研发与应用
在工业制造、危险环境作业等领域，机器人远程操作技术是突破人类作业边界的关键手段。传统远程操作依赖2D 相机反馈与操纵杆控制，存在空间感知差、操作精度低、沉浸感弱等问题，难以满足复杂移动操作任务需求。 例如在核设施退役、灾后救援等场景中，操作员无法精准判断机器人与障碍物的相对位置，易导致操作失误。 针对这一痛点，研究人员以Franka Research 3机器人为核心实验载体，提出 “高斯溅射 + VR” 融合的双阶段远程操作框架。该框架通过高斯溅射技术构建高保真3D 环境模型，结合VR设备实现沉浸式交互，同时设计 “导航 - 操作” 双阶段工作流程，解决传统系统在遮挡处理、空间连贯性、操作直观性上的缺陷。 最终通过实验验证，该框架能使66%的操作者完成任务时间平均缩短43%，93%的操作者更偏好该操作模式，显著提升远程操作的效率与可靠性。 图 1：本图展示了我们所提出框架的一个应用示例。左侧为通过高斯溅射（Gaussian splattering）技术重建的机器人及场景的虚拟现实呈现；右侧为安装在移动基座上的实体机器人在实际环境中执行操作阶段的状态。 高斯溅射3D 环境重建：通过 “多视角图像采集→SfM 算法特征计算与姿态估计→神经渲染训练高斯模型” 流程，生成含位置、颜色、透明度参数的高保真 3D 场景，有效处理遮挡问题，支持 VR 环境内自由调整视角，提升空间感知能力。 图 2：Splat 界面，显示了叠加在显示屏上的两个摄像头视图。实际处于虚拟现实（VR）环境中的用户，看到的是叠加在物体上方的静态 Splat（而非物体本身），并且能够对 VR 中显示的操纵器末端执行器（End Effector）进行操作。 双阶段远程操作逻辑：导航阶段用2D 相机视频流 + VR 控制器速度指令，控制移动基座精准定位；操作阶段通过 VR 界面直接拖动虚拟机械臂末端，实时同步真实 Franka 机械臂运动，兼顾移动效率与操作精度。 跨平台适配架构：基于Unity+ROS+TCP 通信，支持 URDF 模型导入，仅需修改 ROS 话题与关节参数，即可适配不同型号机械臂，降低技术迁移成本。 核心机器人：Franka Research 3机械臂，负责完成按钮按压、精细抓取等操作任务；搭配 Robotnik Summit-XL移动基座，提供长距离移动能力。 视觉采集设备：Intel RealSense D435F RGB-D相机，安装于机械臂末端，用于采集场景图像以生成高斯溅射模型，同时提供真实场景视频反馈。 交互与计算设备：Meta Quest 2 VR头显，提供沉浸式操作界面；Intel NUC作为控制中枢，连接相机、机械臂与基座；搭载NVIDIA RTX 3090 GPU的计算机，运行Unity引擎与高斯溅射模型训练算法。 软件系统 操作系统与中间件：机器人端采用Ubuntu 20.04系统，部署ROS Noetic实现设备通信与指令调度；VR交互端基于Windows 10系统，运行Unity 2022.3构建VR 交互界面。 算法库：集成OpenCV预处理图像，COLMAP实现SfM计算，自定义PyTorch框架模块训练高斯溅射模型，保障3D重建与实时渲染效率。 图3：本图展示了第一个操作场景的设置情况：在杂乱环境中，机器人需触达某一按钮。该按钮安装在一个基座上，此基座会遮挡机器人摄像头的视野。 动态障碍灯光激活：实验区域摆放带顶部灯光的锥形障碍，操作员控制机器人在障碍间导航，到达目标后按压按钮激活灯光，验证“导航 - 操作” 流程连贯性。 图 4：操作员使用我们的遥操作框架执行两项局部操作任务的演示。（a）至（c）图展示机器人向目标位置导航，并成功触达按钮且无任何碰撞；（d）至（f）图呈现操作员通过该框架靠近每个椎体，通过与椎体交互激活其顶部安装的指示灯。 验证方法 用户研究：选取 15 名操作员（含 5 名 VR 经验者、10 名无经验者），对比传统 “双相机 + 操纵杆” 与本框架的任务完成时间、精度，通过 7 分量表评估易用性、沉浸感等指标。 实物验证：在真实场景中重复任务 10 次，记录机械臂操作成功率、碰撞发生率，验证框架稳定性。 图5：用户研究中量表问题的结果，该研究用于评估两种界面的可用性与直观性。研究采用 7 分量表，其中 1 分代表 “强烈不同意”，7 分代表 “强烈同意”。 关键成果与突破 突破空间感知瓶颈：高斯溅射+VR解决2D反馈的平面化缺陷，遮挡场景操作精度提升40%以上，降低操作认知负荷，推动远程操作向低门槛化发展。 建立一体化控制范式：双阶段流程实现“高效移动 - 精准操作” 闭环，适配仓储分拣、设备维护等场景；跨平台架构降低企业技术升级成本，助力产业化应用。 拓展应用边界：可用于核辐射、化工等危险环境无人作业，未来结合动态重建技术可适配流水线等动态场景，为医疗远程手术等领域提供技术支撑。 结语 研究人员以Franka Research 3为载体，研发的 “高斯溅射 + VR” 远程操作框架，从技术上解决传统系统的核心痛点，经实验验证具备效率、精度与易用性优势。 未来将聚焦三方向优化：一是突破SfM 限制，提升高斯模型生成速度以适配动态场景；二是引入 AI 辅助决策，提供操作路径推荐；三是拓展多机器人协同功能，满足大型场景联动需求。该框架不仅为机器人远程操作提供新路径，也为工业自动化、危险环境作业等领域技术升级奠定基础。 论文详情：https://arxiv.org/pdf/2504.15229
关于BFT白芙堂机器人
BFT（白芙堂）机器人是智能机器人一站式服务平台，能为客户提供机器人选型、培训、解决方案、在线采购、本地化定制等高性价比的一站式服务。平台产品涵盖协作机器人、工业机器人、移动机器人、SCARA机器人、服务机器人、机器人夹爪、三维机器视觉设备、3D工业相机等十余种品类，实现机器人产业链产品全覆盖，并广泛应用于工业制造、实验室自动化、智慧零售、教育科研等行业。平台已与国内外知名机器人企业达成战略合作，并拥有专业的工程师团队，能为客户提供算法及系统定制、职校教学、科研实验室平台搭建、机器人展厅定制等服务，支持一对一技术支持和二次开发。
