伦敦大学项目论文解读 | 微创手术中用于多视角图像采集和三维重建的机械臂平台
微创手术（MIS）凭借缩短患者恢复时间、减少组织创伤的核心优势，已成为现代外科的主流方向，但临床应用中面临两大关键挑战：一是手术视野受限、触觉反馈不足，依赖内镜的2D视野难以精准定位器官结构（如血管、肿瘤）；二是3D重建作为手术规划与导航的核心工具，存在数据稀缺、真值精度低、真实场景适配性差的问题 —— 现有公开数据集要么样本量小、要么缺乏解剖真实性，且传统3D重建方法在低纹理器官、复杂光照下精度不足。
伦敦大学研究团队以Kinova Gen3 7自由度机械臂为核心载体，提出针对性解决方案：
为机械臂适配腹腔镜与高分辨率相机，构建“机械臂 - 腹腔镜 - 成像” 一体化采集系统；
设计两种光照条件（模拟真实MIS的腹腔镜光源、用于基准对比的手术室overhead 光源）与三种运动轨迹（模拟临床的Trocar轨迹、覆盖更全面的Open-Close/Open-Far球形轨迹），采集多视角离体器官图像；
融合“基于学习的特征匹配算法+COLMAP三维重建工具”，实现高精度3D重建，并以激光扫描真值验证精度。
最终成果解决了MIS场景下3D重建的三大核心问题：一是提供了可控、可重复的多视角数据采集工具，缓解数据集稀缺困境；二是实现接近亚毫米级的重建精度（平均 RMSE1.05mm、Chamfer距离0.82mm），满足临床精度需求；三是适配真实 MIS手术场景（Trocar 轨迹、腹腔镜光源），提升技术落地可行性。
图1：本研究利用我们的机械臂平台采集的多视图图像进行3D重建。我们使用激光扫描仪获取地面实况数据进行对比。
研究通过多维度技术创新，构建从“位姿生成 - 特征匹配 - 重建优化” 的完整 3D 重建链路，核心方法可分为五大模块：
图2。a) 来自6个器官样本集的RGB帧。第1行和第2行展示不同的肾脏样本。第3行展示两个肝脏样本的切片。b) 数据采集：我们平台收集的所有数据的总结。3D重建：我们处理数据的3D重建流程。结果：通过与采集的地面实况数据进行比较来评估3D重建结果。
1. 斐波那契球面采样：解决位姿均匀性问题
传统球面采样易导致极点附近点聚集，影响图像覆盖完整性。本研究采用斐波那契球面采样法，通过黄金角（ϕ=π(3−5)）递增计算方位角，垂直位置均匀分布，生成覆盖均匀的机械臂位姿，确保器官表面无死角成像；同时通过角度限制（θmax）聚焦感兴趣区域，适配不同手术视野需求。
2. 学习型特征匹配：突破低纹理器官匹配难题
针对手术场景中器官表面光滑、纹理少的特点，摒弃传统SIFT 算法的局限性，采用两种基于学习的特征匹配组合方案：
ALIKED-LG：轻量级CNN模型ALIKED提取关键点与描述符，搭配LightGlue（LG）实现帧间稳健匹配，兼顾速度与精度；
GIM-LG：基于GIM训练框架的手工特征提取器，结合重训练的LG匹配组件，在复杂光照下（如腹腔镜阴影）表现更鲁棒；
两种方案均通过DINOv2-SALAD模型生成额外图像对，提升匹配覆盖率。
3. 增量式运动恢复结构（SfM）：实现从2D图像到3D点云的转化
基于COLMAP工具的增量式SfM算法，将预处理后的图像对（子采样至 100 帧以降本）输入匹配模型，生成稀疏点云与相机位姿；再通过密集重建模块输出高质量 3D 点云，整个过程不依赖手眼标定位姿，仅用于后续评估，确保重建结果的独立性与可靠性。
4. 双四元数手眼标定：保障 “机械臂 - 相机” 坐标一致性
为消除机械臂末端执行器与相机的坐标偏差，采用双四元数法进行手眼标定：通过ChAruco 板采集多轨迹标定数据，经OpenCV完成相机内参标定（重投影误差 0.88 像素），最终获取机械臂末端到相机主点的精确变换关系，为位姿评估提供基准。
5. 点云后处理：优化重建结果与真值一致性
针对重建点云的相对坐标与噪声问题，设计三步后处理流程：
手动配准+ ICP精配准：先通过Open3D手动选择匹配点，再用 “点到平面 ICP”（结合激光真值法向量）优化配准精度；
离群点去除：基于KD-Tree 计算邻域距离，剔除 “均值 + 1 倍标准差” 外的孤立点，保留点云结构；
范围筛选：去除距离质心超60mm 的冗余点，聚焦器官核心区域。
表1.外科领域具有真实属性和规模的公开可用数据集的表格总结。
核心执行硬件：Kinova Gen3 7自由度机械臂，执行器可无限旋转； ros2kortex包通信，用MoveIt2+OMPL规划运动，Orocos插件求解逆运动学。
成像设备：FLIR Blackfly S USB3 相机（500 万像素，分辨率 2448×2048）搭配 HOPKINS® 26003 AGA 望远镜，通过3D打印和激光切割支架固定于机械臂。
光源
包含 Storz D-LIGHT C 201336 20 腹腔镜光源（配 Storz 495 NCS 光纤线缆）和Maquet Volista Surgical Light 手术室 overhead 光源。
真值与计算
尼康 H120 ModelMaker+MCAx S 激光扫描仪（精度达 7μm）；基于 FLIR Spinnaker SDK 的Python应用记录数据；AMD Ryzen Threadripper PRO 5975WX CPU + 双 NVIDIA RTX A6000 GPU用于计算。
通过将腹腔镜安装到 Gen3 机械臂上，团队实现了在不同光照条件和轨迹下对各种器官的精确图像采集
图3. 使用不同轨迹和光照条件获得的肾脏和肝脏的3D重建结果。对于肾脏（第1行），数据是在手术室光照条件下使用开放式远轨迹采集的，并使用ALIKED-LG图像匹配器进行处理。肝脏（第2行）是在腹腔镜光照条件下使用套管针轨迹采集的，并使用GIM-LG匹配器进行处理。在这两种情况下，预测的3D模型（第1列和第2列）都与地面实况激光扫描结果（第3列）以及后处理、对齐的重建结果（第4列）进行了比较。
1. 实验设计：覆盖样本、轨迹与数据规模
通过将腹腔镜安装到 Gen3机械臂上，团队实现了在不同光照条件和轨迹下对各种器官的精确图像采集
样本选择：使用8个绵羊离体器官（6个肾脏、2个肝脏），4个肾脏配对成6个器官集，仅采用2种轨迹。
采集方案：每种器官集对应3种轨迹 ×2种光照，肾脏生成24段视频，肝脏生成8段视频，共32段视频
图5. 一幅图表，展示了使用ALIKED-LG图像匹配器，在OR光源和开放远轨迹条件下，肾脏数据集的地面实况（蓝色）和预测（黄色）姿态的子采样姿态集。
轨迹参数：Trocar轨迹RCM距样本120mm，Open-Close轨迹dlap=80mm，Open-Far 轨迹dlap=120mm。
表2.肾脏和肝脏各轨迹的平均指标。各器官在所有方法和轨迹中表现最佳的指标以粗体突出显示。
2. 验证方法：定性与定量结合，覆盖重建与位姿
定性验证：通过视觉对比重建模型与激光扫描真值
定量验证：用Chamfer距离、Hausdorff距离、RMSE评估点云精度
位姿评估：用Umeyama算法计算旋转 / 平移RPE，平均88.78% 帧位姿预测成功
关键成果与突破
技术上，在真实MIS场景下实现稳定精度，推动3D重建从实验室向临床应用迈进。
方法上，构建“数据 - 算法 - 验证” 闭环，解决数据稀缺和算法适配问题。
应用上，为手术导航、AR/VR融合、术前术后评估提供支撑。
平台上，兼容多种成像模态，可迁移至其他手术机器人，降低复用成本。
结语
伦敦大学团队利用Kinova Gen 3机械臂来改进手术规划和导航。不仅为微创手术的3D重建提供了 “高精度、强适配、可落地” 的技术方案，更填补了 “真实 MIS场景下3D重建数据与方法” 的空白。
相比其他系统在实际手术条件下常面临的操控性不足、精度不稳定等问题，Kinova Gen3机械臂凭借其7自由度灵活运动、无限旋转执行器及可靠的运动控制能力，为多视角图像采集与精准3D重建提供了稳定支撑。
这种优势使其在未来医学领域具备广阔应用潜力，随着实时处理算法优化与复杂场景适配，Kinova Gen 3搭载的该平台有望进一步融入临床流程，推动微创外科向更智能、更安全的方向升级，为改善患者手术预后提供关键技术保障。
论文详情：https://arxiv.org/abs/2410.11703
关于BFT白芙堂机器人
BFT（白芙堂）机器人是智能机器人一站式服务平台，能为客户提供机器人选型、培训、解决方案、在线采购、本地化定制等高性价比的一站式服务。平台产品涵盖协作机器人、工业机器人、移动机器人、SCARA机器人、服务机器人、机器人夹爪、三维机器视觉设备、3D工业相机等十余种品类，实现机器人产业链产品全覆盖，并广泛应用于工业制造、实验室自动化、智慧零售、教育科研等行业。平台已与国内外知名机器人企业达成战略合作，并拥有专业的工程师团队，能为客户提供算法及系统定制、职校教学、科研实验室平台搭建、机器人展厅定制等服务，支持一对一技术支持和二次开发。
