面向铁路维护工具自适应搬运的视觉感知与软体机器人抓取一体化系统

《Machines》：An Integrated Visual Perception and Soft Robotic Grasping System for Adaptive Handling of Railway Maintenance Tools

　　

为应对复杂铁路道砟环境中背景强干扰以及不规则维护工具抓取不稳定等挑战，本文提出了一种集成增强视觉感知与仿生软体抓取的机器人系统。系统核心包括轻量化检测网络RA-YOLO、非对称“Fin Ray”软指以及视觉伺服（Visual Servoing）控制框架。通过嵌入CBAM注意力机制并引入Mosaic数据增强，RA-YOLO在复杂背景下实现了稳健特征提取。研究人员利用Yeoh本构模型与有限元分析（FEA）对指尖拓扑进行优化，从而提升了重载条件下的刚度与整体自适应性。实验结果表明，所提出的RA-YOLO在标准测试集上取得了93.6%的mAP@0.5，推理速度达到105 FPS。视觉伺服定位实验的平均欧氏定位误差为1.03 mm，各坐标分量的最大绝对误差均保持在2.5 mm以下。在涉及五类不规则工具的系统级抓取实验中，该集成系统实现了91.8%的总体抓取成功率，表明其在非结构化铁路维护环境中的工具自动回收方面具有应用潜力。

本文发表于《Machines》，围绕铁路维护场景中工具自动分拣与回收这一典型非结构化作业任务，构建了一套融合视觉感知、软体末端执行器与机械臂协同控制的自适应机器人系统。研究背景在于，中国高速铁路运营里程持续增长，线路长期处于高寒、湿热、戈壁等复杂环境中，基础设施在高速列车交变载荷、热应力与环境侵蚀共同作用下性能退化加快，运维（O&M）作业对于精度、频率与效率提出了更高要求。传统铁路运维大量依赖夜间人工完成工具传递、异物清理与检修作业，道砟区域地形复杂、照明不足且常伴随恶劣天气，导致劳动强度大、效率低，并伴随邻线来车、跌落及工具落轨等安全风险。因此，面向非结构化铁路环境的智能巡检与维护机器人具有明确工程需求。

现有问题主要集中在三个层面。其一，传统刚性夹爪虽具有较强承载能力，但形状自适应性差、接触刚度高，难以稳定抓取铁路维护中常见的不规则硬质工具，在道砟环境中的容错性尤其不足。其二，仿生Fin Ray软指虽可借助超弹性材料顺应目标外形，实现包络式抓取，但已有研究多聚焦轻载场景，对于2 kg级重型维护工具的稳定抓取研究相对有限，其横向刚度不足易诱发屈曲失稳。其三，铁路道砟背景具有高频纹理干扰，金属工具在自然光照下又存在反光、阴影与姿态随机性，导致视觉检测易出现误检与漏检，而不少检测算法的改进又以增加模型参数为代价，不利于边缘部署与实时控制。此外，视觉感知、软体抓取和机械臂运动控制之间的深度耦合自动化流程，在现有研究中仍存在整合不足的问题。基于上述瓶颈，开展感知—决策—执行一体化研究具有必要性。

研究人员据此提出了一种面向铁路维护工具自适应搬运的一体化系统。该系统由Intel RealSense D435i深度相机、Aubo-i5六轴协作机械臂、非对称Fin Ray仿生软体夹爪以及上位机控制平台组成。研究结论表明，非对称软指拓扑在重载条件下兼顾了包络顺应性与横向稳定性；RA-YOLO能够在复杂道砟背景中实现高精度实时检测；视觉引导手眼定位具有毫米级精度；整套系统在五类典型工具上的总体抓取成功率达到91.8%。这些结果说明，该研究在非结构化铁路运维环境下具备较强的工程可行性，为智能运维装备在Industry 4.0背景下的落地应用提供了技术支撑。

作者采用的主要关键技术方法可概括如下：首先，基于Yeoh超弹性本构模型与有限元分析（FEA）对3D打印热塑性聚氨酯（TPU）软指进行参数化建模，并结合L₉(3³)正交设计优化筋条倾角、筋距与外壁厚度；其次，构建以YOLOv8n为基础、嵌入CBAM注意力模块并结合Mosaic增强策略的RA-YOLO视觉检测网络，数据集为自建铁路维护工具数据集，共3640张图像，覆盖晴照、阴天和遮阴条件；再次，建立二维像素—深度到机械臂基坐标系的手眼标定模型，并结合逆运动学、五次多项式插值与有限状态机（FSM）实现Simulink-ROS协同控制与系统级自动化作业。

在系统总体架构部分，论文首先给出了机器人系统的感知、决策与执行三阶段流程。感知阶段由深度相机采集实时RGB-D图像，RA-YOLO在复杂道砟背景中识别目标并提取像素坐标；决策阶段利用手眼标定将视觉坐标转换至机械臂基坐标系，并调用逆运动学与轨迹规划算法生成平滑运动路径；执行阶段则由机械臂引导软体夹爪接近目标，步进电机驱动软指闭合，通过被动形变完成稳定抓取与转运。这一部分表明，研究并非单点优化，而是构建了贯通视觉识别、位姿估计、末端执行和运动控制的完整流水线。

在“Asymmetric Bio-Inspired Design Concept”部分，研究人员针对铁路维护现场工件形状不规则、材质坚硬、质量较大的特点，提出非对称Fin Ray拓扑。其核心设计包括沿抓取方向倾斜分布的内部筋条、弧形外侧壁以及复合防滑表层。该结构通过打破对称受力平衡，在初始接触阶段诱导指腹向内卷曲，从而更好贴合异形轮廓并扩大接触面积；弧形外壁则增大截面二次矩，抑制重载下外侧屈曲，提高横向刚度与抗失稳能力；硅胶表层用于提升与金属工具之间的静摩擦系数。该部分结论是，非对称拓扑为兼顾柔顺包络与承载稳定性提供了结构基础。

在“Material Characterization and Constitutive Modeling”部分，论文选择BASF Elastollan? 1185A热塑性聚氨酯（TPU）作为软指基材，并通过单轴拉伸试验获得平均工程应力—应变曲线。针对软指抓取过程中的大变形与材料非线性行为，研究采用三阶Yeoh超弹性模型进行拟合，得到C₁₀ = 2.054 MPa、C₂₀ = ?0.0753 MPa、C₃₀ = 0.00231 MPa，拟合优度R² = 0.9938。该部分说明，所建本构模型能够较准确描述TPU在0–300%应变范围内的力学响应，为后续有限元参数优化提供可信基础。

在“Finite Element-Based Optimization and Orthogonal Analysis of Key Structural Parameters”部分，研究以筋条倾角θ、筋距d和外壁厚度t为关键变量开展单因素有限元分析。结果显示：θ = 30°时应力分布最优、内卷趋势最明显；d = 8 mm时可兼顾筋条干涉抑制与支撑能力；t = 3 mm时既能避免局部屈曲，又不会显著削弱轮廓顺应性。在此基础上，研究进一步引入三因素三水平正交设计，以应力安全、适应性形变和横向稳定性三个归一化指标构建综合评分，最终确定最优组合A₂B₂C₂，即θ = 30°、d = 8 mm、t = 3 mm。该部分结论是，筋条倾角和外壁厚度对综合性能影响最大，优化参数能够在结构安全、支撑能力与几何适配之间实现平衡。

在“Kinematic and Mechanical Modeling of the Gripping Mechanism”以及“Rigid-Flexible Coupled Modeling Based on the Pseudo-Rigid-Body Model”部分，作者建立了丝杠—双横梁—四连杆驱动机构的力学模型，将电机输出扭矩映射为单指接触力。同时，考虑软指弯曲过程中的弹性应变能储存，采用伪刚体模型（Pseudo-Rigid-Body Model）引入等效扭转刚度与弹性回复力矩，对传统刚体动力学进行修正。模型指出，软抓取存在最小驱动扭矩阈值，只有当刚性驱动项超过柔性变形耗散项后，夹爪才能输出正向夹持力。该部分为解释软体夹爪在重载抓取中的力传递本质提供了理论依据。

在“Grasping Stability and Anti-Slip Critical Conditions”与“Fabrication and Integration of the Soft Gripper Prototype”部分，研究进一步推导了防滑稳定判据，将四指抓取产生的法向夹持力与摩擦力同工具重力及惯性力进行平衡分析，并给出安全驱动扭矩下界。随后，作者利用熔融沉积成型（FDM）技术制备TPU软指，并在指腹复合2 mm高摩擦硅胶涂层，完成总质量低于1 kg的软体夹爪样机装配。该部分表明，理论设计被成功转化为满足Aubo-i5负载约束的工程原型。

在“Contact Force Measurement and Preliminary Cyclic Durability Test”“Linear Fingertip Stiffness Identification”以及“Anti-Slip Stability Evaluation Method”部分，论文通过薄膜力传感器对指尖接触力进行标定与测量。实验表明，软指法向接触力随驱动位移增大近似线性增长，在1–6 mm位移范围内由2.74 N增加至15.47 N，并据此识别线性指尖刚度。模型预测接触力与实测值的平均相对误差为4.07%，说明所建模型具有较好的描述能力。3000次内卷循环后，接触力仅下降2.78%，且未见可见裂纹、永久变形或局部损伤；2.0 kg额定载荷下500次循环抓取未出现掉落或明显滑移。对电钻、锤子、钳子、螺丝刀和扳手五类工具的防滑验证则显示，四指抓取提供的可用摩擦力均高于所需保持力，其中电钻安全裕度最小但仍保有9.00 N余量。该部分证明软体夹爪具有较稳定的力输出、初步短期耐久性和满足任务需求的抗滑移能力。

在“RA-YOLO Network Architecture”“Embedding of the CBAM Dual-Attention Mechanism”以及“Mosaic Data Augmentation Strategy”部分，研究针对铁路道砟环境中高频纹理背景淹没小目标特征的问题，提出基于YOLOv8n改进的RA-YOLO。其关键在于于Backbone与Neck衔接处嵌入CBAM双重注意力模块，通过通道注意力强化对金属材料与工具结构敏感的特征通道，通过空间注意力生成显著性掩膜以抑制周边道砟噪声。同时，引入Mosaic数据增强，在训练中随机拼接四幅图像，以提高背景复杂度、多尺度鲁棒性与遮挡适应性。该部分结论是，RA-YOLO通过“注意力重标定 + 数据多样性增强”显著改善了复杂背景下的工具检测性能。

在“Dataset Construction and Partitioning”部分，研究人员构建了自建铁路维护工具数据集，共3640张高分辨率样本，覆盖强阳光、阴天和阴影遮挡三种典型照明条件，并按8:1:1划分训练集、验证集和测试集；此外，还建立了附加环境鲁棒性测试集，用于评估不同道砟湿度、颗粒颜色与纹理条件下的泛化能力。该部分说明，模型评估不仅基于常规测试集，还考虑了有代表性的环境变化条件。

在“Collaborative Control and Operation Planning Based on Simulink and ROS”及其下属各节中，论文构建了基于Simulink和ROS的协同控制系统。底层通信层面，工业PC、驱动板、USB通信模块、供电模块、深度相机、机械臂与软体夹爪形成完整硬件协作拓扑；夹爪控制采用`geometry_msgs/Quaternion`消息格式，将ROS话题中的逻辑指令映射为I/O电平以驱动步进电机开合；系统运行逻辑由有限状态机（FSM）组织，在初始化、自检、视觉感知、位姿决策、路径执行、柔顺抓取和转运回收之间实现闭环自动化。该部分表明，研究的系统优势不仅来自感知或夹爪本身，也来自模型化设计（MBD）驱动下各模块的高效集成。

在“Visual Detection Experimental Results”部分，实验在PyTorch 2.0.1框架与Intel Core i9 + NVIDIA RTX 3090平台上进行。收敛分析显示，RA-YOLO相较YOLOv8n具有更平滑的中后期训练曲线与更高稳定精度，说明CBAM有助于抑制复杂背景导致的特征波动。消融实验进一步表明，Mosaic增强使mAP@0.5提升2.4个百分点，CBAM使mAP@0.5提升3.1个百分点，而二者联合使最终mAP@0.5达到93.6%，较基线提升8.2个百分点。与SE、ECA、CA等轻量化注意力机制比较后，CBAM在mAP@0.5和mAP@0.5:0.95上均表现最佳。与现有铁路目标检测算法相比，RA-YOLO在仅3.4 M参数量下实现93.6%的mAP@0.5和105 FPS，并在Jetson AGX Orin边缘平台上达到42.0 FPS，端到端延迟低于25 ms。补充环境鲁棒性测试中，模型在不同湿度和纹理道砟背景下的mAP@0.5均高于90.5%，表明其具备较稳定的环境适应能力。

在“Localization Accuracy Experiments”部分，研究采用Zhang标定法进行手眼标定，使用10 × 7棋盘格采集15组不同姿态图像，建立相机内参与相机光心到机械臂基坐标系的变换关系。对工作空间内50个随机测试点的验证显示，X-Y平面误差呈集中分布，平均欧氏误差为1.03 mm，各方向最大绝对误差低于2.5 mm。作者指出，这一结果主要表征准静态几何定位精度，而动态因素的影响则通过系统级抓取实验间接体现。该部分结论是，视觉引导定位精度已达到毫米级，可满足软体抓取的被动顺应补偿范围。

在“Mechanical Validation of the Soft Gripper”部分，研究系统验证了软指力输出特性、循环稳定性与抗滑移性能。结果显示，软指接触力随位移增加而近似线性提升，重复测量波动较小，说明力输出重复性良好；3000次循环后接触力衰减有限，且结构未出现明显损伤；在五类典型工具上，夹爪在仅考虑摩擦主导的保守条件下仍满足稳定抓取要求。该部分从部件层面支撑了后续系统级实验结果。

在“Controlled Laboratory Baseline Gripper Comparison”部分，作者将所提非对称Fin Ray夹爪与传统对称Fin Ray基线夹爪进行对照。针对电钻、锤子、钳子、螺丝刀和扳手五类工具的重复抓取表明，非对称夹爪在所有类别上均取得更高成功率，总体成功率达到92.0%，较对称结构提高11.0个百分点，各类别提升幅度为8.8–12.5个百分点。该结果定量证明了非对称拓扑对于提升不规则工具抓取稳定性的直接贡献。

在“Experimental Setup and Quantitative Results”“Task Efficiency Distribution and Consistency Analysis”以及“Failure Mode Analysis and System Limitations”部分，研究在室外铁路道砟环境部署系统，对五类典型维护工具开展场景A（无遮挡）与场景B（复杂遮挡）两类测试。系统总体抓取成功率为91.8%，其中场景A达到95.2%，场景B为88.4%，与视觉检测性能变化趋势一致。任务完成时间（TCT）统计显示，场景A平均耗时为4.12 s，场景B因避障与环境复杂度增加而上升至4.94 s，但不同工具的耗时方差控制在0.7 s以内，体现出较高时序一致性。失效模式分析表明，剩余8.2%的失败主要来自感知干扰、坐标漂移、动态滑移及其他误差，其中扳手在遮挡场景下成功率最低，原因在于其细长扁平几何形状不利于多点包络，同时高反射金属表面可能削弱深度点云质量。论文据此明确了系统边界：在遮挡率超过70%的极端堆叠以及强光导致深度空洞时，系统性能会受到一定影响。

讨论部分指出，91.8%的总体抓取成功率验证了感知—执行协同框架的有效性，其中重载不规则工具成功率超过90%，主要得益于非对称Fin Ray结构诱导的向内卷曲与弧形外壁带来的横向稳定性增强。尽管在杂乱堆叠场景中成功率下降6.8个百分点，RA-YOLO仍维持了复杂背景下的可靠检测能力。论文同时强调，该系统在工程上兼具算法轻量化优势和末端执行器柔顺性优势：RA-YOLO在精度与速度之间取得良好平衡，适合移动机器人终端部署；软体夹爪可被动适应不同几何工件，降低低层轨迹规划复杂度，并减少工件表面二次损伤。不过，作者也明确指出，当前研究对极端天气条件覆盖不足，强直射光、暴雨、降雪、泥污、粉尘和极低照度仍可能影响深度感知与抓取稳定性；TPU材料在高频长期野外运行中的疲劳磨损也尚待进一步研究。未来工作方向包括在指腹集成柔性压力传感器，引入触觉反馈闭环控制，以及结合视觉—惯性融合提高动态定位鲁棒性和开展多机器人协作。

研究结论部分可译述为：本研究设计并开发了一种集成改进视觉感知与仿生软体抓取的铁路巡检工具自动分拣系统。该系统主要由具有非对称筋条拓扑的Fin Ray软指、基于注意力机制的RA-YOLO视觉检测网络以及六轴机械臂协同控制模块构成。针对非结构化道砟背景下感知不准确和抓取不稳定的问题，研究人员基于Yeoh超弹性本构模型与有限元分析（FEA）对软指结构参数进行了优化，在保持柔顺包络能力的同时显著提升了重载条件下的横向刚度，从而解决了传统软体夹爪的失稳问题。在视觉感知方面，通过在YOLOv8n中嵌入CBAM模块并结合Mosaic数据增强，实现了复杂背景下对不规则金属工具的高精度实时检测，mAP@0.5达到93.6%。系统集成实验验证了所提设计的有效性。在准静态视觉引导手眼定位验证中，手眼标定模型的平均欧氏定位误差为1.03 mm，各坐标分量的最大绝对误差均控制在2.5 mm以内。在具有代表性的低速室外道砟工况下，集成系统在五类典型工具上的总体抓取成功率达到91.8%，表明其在非结构化铁路维护环境中具有良好的负载适应性、感知—执行协同性与实际应用可行性。该系统能够有效应对非结构化环境，满足Industry 4.0背景下智能运维装备对高可靠性的要求，并为铁路智能运维装备在非结构化环境中的作业提供了重要的理论与技术支持。