FACTR赋能Franka机器人：触觉-视觉融合决策的颠覆性突破
机器人触觉感知的瓶颈与突破
在接触密集型任务（如易碎品抓取、面团揉捏、精密装配）中，触觉与力反馈是保障操作安全性与适应性的核心。传统系统存在两大瓶颈：
数据获取割裂：传统遥操作缺乏双向力觉耦合，示范数据缺失环境交互的力学动态特征。
视觉依赖陷阱：强化学习策略易过度拟合视觉输入，忽略力觉模态的关键作用，导致面对新物体时泛化性能骤降 。
卡内基梅隆大学团队提出FACTR(Force-Attending Curriculum Training)。通过低成本力反馈遥操作系统与课程化训练策略，实现机器人动态交互能力的跃升。
FACTR核心技术解析
1. 低成本双向力反馈遥操作
三⼤特性：
环境力觉映射：从机械臂关节扭矩反演接触力，通过领导者臂实时反馈环境几何约束。
冗余关节控制：基于零空间投影算法，自定义关节“休息位姿”，避免狭窄空间碰撞（点击观看控制器演示视频）。
主动重力补偿：支持机械臂空中悬停，实现双⼿遥操作中瞬时暂停与姿态调整。
2. 力-视觉课程化训练
训练逻辑：
前期：视觉主导建立基础操作框架（如物体定位）。
中期：引入动态模糊（像素/隐空间），强制策略融合力觉信息决策。
后期：模糊强度递减，策略过渡至力觉主导模式（Transformer跨模态注意力机制）。
泛化增益：面对新物体（形状、刚度超出训练集），成功率提升43%，远超基线方法。
Franka Research 3：FACTR验证的核心载体
四大优势奠定科研标杆地位：
高精度力控：7自由度+±0.1mm定位精度，支持复杂接触动力学建模。
开放生态：ROS/ROS2全栈支持，兼容多模态传感器（ZED双目相机、触觉手套）。
人机协作安全：安全认证+自适应控制，保障协作安全。
全球科研生态：覆盖50+国家实验室，提供定制化SDK与硬件扩展接口。
多场景任务验证
实验一：双臂协同抬箱
（点击观看视频）
基线失败：
视觉ACT：无法感知物体掉落，因策略过度拟合训练箱体外观。
视觉+力ACT：抬举过程因力觉关注不足导致失稳。
FACTR表现：
通过关节扭矩监测（恢复至抬举前基线值），实时触发复位动作。
跨模态注意力分析显示：抬举阶段力觉关注度超视觉60%
交叉注意力分析
实验分析证明：使用视觉+力量ACT来强化机器学习策略对于力量关注度不够，在抬举箱子时无法控制力度，搬运箱子时也无法保持稳。
而FACTR策略通过力感知主导模式革新机器人操作：优先评估物体重量并动态调控力度，实现从视觉依赖到力觉精准控制的转变，显著增强复杂受力场景下的任务执行效能。
实验二：水果的抓取与摆放
实验证明：
在水果抓放任务中，仅视觉策略及不带 FACTR 的视觉力策略均会因水果视觉特征超出训练数据分布范围而陷入困境，单纯依靠视觉信息无法生成有效操作路径，后者因过度依赖视觉输入也无法实现正确操作。而 FACTR 策略能有效利用力反馈信息，即便视觉输入超范围，也能正确处理力输入，确保力数据处于有效区间，精准预测抓取与放置的后续操作轨迹，实现稳健操作。
以上这些实验证明运用FACTR低成本力反馈遥操作比普通仅依靠视觉 ACT（基线）来训练机器人更加稳定，并且还能将对同类操作的的泛化率显著提高了 43%。
本研究所有实验均使用Franka机械臂完成，使用两个外部ZED摄像头来获取现实世界的视觉信息。该7自由度协作机器人可通过BFT机器人平台获取（https://www.bft-robot.com/p-1474.html）
商业价值
技术优势
提升操作精度与灵活性： 精确模拟人类手臂动作，远程遥控操作更灵活。
增强安全协作： 实时力反馈与碰撞检测，保障人机协作安全。
降低成本与维护： 低成本系统部署，简化远程监控与维护流程。
应用场景
科研领域:仿生触觉模拟、人机协作神经机制研究
工业制造:精密电子装配、柔性材料质检
医疗健康:内镜手术辅助、康复外骨骼动态阻抗调节
参考资料：https://jasonjzliu.com/factr/
登录www.bft-robot.com了解Franka机器人的商业部署方案。
关于BFT白芙堂机器人
BFT（白芙堂）机器人是智能机器人一站式服务平台，能为客户提供机器人选型、培训、解决方案、在线采购、本地化定制等高性价比的一站式服务。平台产品涵盖协作机器人、工业机器人、移动机器人、SCARA机器人、服务机器人、机器人夹爪、三维机器视觉设备、3D工业相机等十余种品类，实现机器人产业链产品全覆盖，并广泛应用于工业制造、实验室自动化、智慧零售、教育科研等行业。平台已与国内外知名机器人企业达成战略合作，并拥有专业的工程师团队，能为客户提供算法及系统定制、职校教学、科研实验室平台搭建、机器人展厅定制等服务，支持一对一技术支持和二次开发。
