BFT机器人|一站式机器人采购平台 机器人代理、采购

商品分类
    商品分类
  1. 首页
  2. 返回

苏黎世联邦理工学院联合项RobustDexGrasp框架论文解读:通用物体的稳健灵巧抓取


研究背景


在机器人抓取领域,传统方法常受限于对已知物体的依赖、静态抓取姿态的局限性,以及对外部干扰(如碰撞、观测噪声)的低适应性。苏黎世联邦理工学院联合香港科技大学以优傲机器人(UR5机械臂)搭载灵巧手为硬件载体,提出了一套基于强化学习的动态灵巧抓取框架,旨在解决 “未知物体泛化抓取” 和 “干扰下稳健抓取” 两大核心问题。



该框架通过单视角视觉输入即可实现对500余种未知物体(包括薄型、小型、重型、可变形及透明物体)的抓取,并能在意外碰撞、外力扰动等场景下保持稳定。最终在仿真中实现247,786个未知物体97.0% 的抓取成功率,在真实场景中实现512个未知物体94.6%的成功率,突破了传统方法对已知物体模型和多视角感知的依赖。


image.png

RobustDexGrasp框架:首先使用由强化学习(RL)驱动的特权视觉触觉感知来训练一个教师策略。然后,我们使用单视图对象点云和嘈杂的本体感觉来训练一个学生策略,由我们的混合课程学习方法驱动,该方法从IL开始以高效地蒸馏教师策略,并逐渐过渡到RL以在干扰下进行探索。


核心方法


以手部为中心的形状表征

构建51维向量,通过手指关节(含手腕、指尖)到物体表面最近点的距离向量,聚焦潜在接触区域的局部形状,而非全局几何特征。这种设计增强了对形状变化和观测视角限制的适应性。


混合课程学习的双策略训练

 

  • 教师策略:基于强化学习,利用完整物体点云、触觉接触信息等“特权数据” 训练,学习稳定抓取基础能力;

  • 学生策略:仅依赖单视角点云和带噪声的关节状态,通过“模仿学习(提炼教师能力)→强化学习(探索干扰适应)” 的渐进式课程训练,适配真实硬件限制。

 

干扰适应机制

训练中引入摩擦系数、执行器刚度等环境参数随机化,模拟硬件误差和外部扰动,迫使策略学习实时调整抓取姿态的能力。


image.png

实验设置


硬件平台

 

  • 机械臂:UR5 机械臂(负责整体移动定位);

  • 灵巧手:Allegro机器人手(提供多自由度抓取动作);

  • 感知设备:RealSense D435i 顶视相机(采集单视角深度点云);

  • 控制频率:高层策略5Hz,底层 PD 控制器 100Hz。

 

仿真环境

在Raisim仿真平台中训练,使用35个物体(含3D模型和扫描物体)初始化策略,通过随机化物理参数(如摩擦系数、PD增益)缩小仿真与现实差距。


image.png




实验设计与验证


评估指标

以“抓取成功率” 为核心:物体被提升至 0.1 米高度并稳定保持 5 秒以上即为成功。

 

关键验证实验


大规模泛化测试:在247,786 个仿真物体(分小、中、大型)和 512 个真实物体(覆盖 12 类材质、7g-610g 重量)上测试零样本抓取能力;


干扰稳健性测试:对比在2.5N 外力扰动下与传统方法(如 DexGraspNet)的性能衰减;


消融实验:验证“混合课程学习”“特权教师策略” 等核心模块的必要性。


关键成果与突破


泛化能力

仿真中对小型、中型、大型物体的成功率分别达94.9%、97.2%、97.6%;真实场景中对可变形物体、日常用品等 12 类物体平均成功率 94.6%,无需预先获取物体模型。


image.png

大规模评估(真实)


抗干扰能力

在外力扰动下,仿真和真实场景的成功率分别保持92.0% 和 84.0%,性能衰减显著低于传统方法(如 DexGraspNet 衰减约 20%)。

 

image.png

对外力的鲁棒性(仿真与实际)

 

方法优势

相比现有技术,无需多相机或触觉传感器,仅通过单视角感知即可实现动态适应,且避免了对人类演示数据的依赖。


结语


该研究通过“局部形状表征 + 混合课程学习” 的创新设计,让优傲机器人搭载灵巧手手在未知物体抓取和抗干扰能力上实现了突破。其核心价值在于:以低成本感知(单相机)达成高稳健性,为工业分拣、家庭服务等场景的柔性抓取提供了可行方案。未来可通过更小尺寸灵巧手、物体运动预测模块进一步扩展应用范围。

 

项目详情:https://zdchan.github.io/Robust_DexGrasp/


关于BFT白芙堂机器人

BFT(白芙堂)机器人是智能机器人一站式服务平台,能为客户提供机器人选型、培训、解决方案、在线采购、本地化定制等高性价比的一站式服务。平台产品涵盖协作机器人、工业机器人、移动机器人、SCARA机器人、服务机器人、机器人夹爪、三维机器视觉设备、3D工业相机等十余种品类,实现机器人产业链产品全覆盖,并广泛应用于工业制造、实验室自动化、智慧零售、教育科研等行业。平台已与国内外知名机器人企业达成战略合作,并拥有专业的工程师团队,能为客户提供算法及系统定制、职校教学、科研实验室平台搭建、机器人展厅定制等服务,支持一对一技术支持和二次开发。

相关产品

推荐产品