基于视觉图像识别的船舶结构焊接路径自动识别技术

《Machines》：Automatic Recognition Technology of Welding Path for Ship Structures Based on Visual Image Recognition

　　

为解决传统离线编程(Offline Programming, OP)在船舶结构机器人焊接中难以适应尺寸偏差及装配误差的固有局限，研究人员提出了一种融合点云增强的视觉扫描范式，可实现焊缝自动识别及无碰撞轨迹规划(Collision-free Trajectory Planning)。将专用单色视觉系统(Monochromatic Vision System)刚性集成于六轴工业机器人上，通过高保真特征提取与几何轮廓重构实现多构型焊缝的精确定位。该方法显著减少示教操作，提升非结构化船厂车间环境适应性及全局定位精度。核心技术贡献包括：(1)机器人视觉系统集成设计及精密标定，含手眼标定(Hand-Eye Calibration)；(2)开发混合二维图像-三维点云处理流程，结合加速鲁棒特征(Speeded Up Robust Features, SURF)与近似最近邻快速库(Fast Library for Approximate Nearest Neighbors, FLANN)进行图像拼接，采用随机采样一致性(Random Sample Consensus, RANSAC)平面分割及主成分分析(Principal Component Analysis, PCA)驱动轮廓重构；(3)在五种不同工件构型上进行实验验证。结果表明该系统适用于智能化高效造船焊接，显著优于相同条件下偏差超过5 mm的传统离线编程。定量误差分析显示，在线识别方法焊缝定位均方根误差(Root Mean Square Error, RMSE)达0.82 mm，标准差(Standard Deviation, SD)为0.45 mm，验证最大绝对偏差为1.5 mm。

《基于视觉图像识别的船舶结构焊接路径自动识别技术》论文解读

该研究与发表于《Machines》期刊。针对全球造船业向智能制造转型背景下，船体焊接作为劳动密集型及周期关键工序成为瓶颈，现有基于计算机辅助设计(Computer Aided Design, CAD)模型的离线编程因实际工件切割、成形及预焊装配误差导致名义模型与实物不符，产生超5 mm偏差需大量人工示教重拍。虽有三维修点云与混合定位策略研究，但多限于简单焊缝或孤立构件，无法解决船舶分段组件多点云复杂及多干扰焊缝同步识别难题。为此研究人员提出面向复杂船体结构件实时生成焊缝轨迹的视觉方法论，经实验验证在线视觉识别显著优于传统离线编程，最大绝对定位误差由5.89 mm降至1.5 mm，焊缝定位RMSE为0.82 mm，并通过严谨误差分配分析量化各误差源贡献。

研究人员采用的关键技术方法为：搭建基于KUKA KR-16-L6-2六轴铰接机器人（重复定位精度±0.05 mm）配外部直线行走轴及Medway MV-GED200M-T单色工业相机的集成视觉焊接系统，通过TCP/IP通信控制扫描；采用SURF-FLANN算法对多帧重叠图像进行大视场全景拼接，中值滤波去噪后Otsu阈值分割二值化；通过点云RANSAC平面拟合去除底板、统计离群点移除(Statistical Outlier Removal, SOR)滤波及法向量筛选提取焊接构件点云，正交投影后经区域生长分割及PCA主轴分析重构构件包围矩形轮廓并生成焊缝轨迹；利用Tsai-Lenz算法完成手眼标定(Hand-Eye Calibration)，迭代最近点(Iterative Closest Point, ICP)算法统一机器人、视觉与三坐标测量机(Coordinate Measuring Machine, CMM)全局坐标系；在五类典型船体结构工件（槽型隔舱外角接、波纹板组件、弧板对接、直板对接及带坡口缺陷对接）上开展验证及消融实验(Ablation Study)。

2. Visual Recognition System for Welding Path in Typical Ship Structures

介绍自适应分析造船结构自动化焊接现状，指出现有自动化率不足及复杂构件仍依赖手工操作问题。阐述基于KUKA KR-16-L6-2机器人配KR C4控制柜、EWM Phoenix 551 Puls焊机及外部直线导轨扩展工作空间的焊接机器人系统构建。详述视觉识别系统设计：主机通过TCP/IP初始化，机器人以0.35 m/s恒速执行预设扫描轨迹，稳态后视觉传感器以1 fps采集激光线轮廓并同步记录机器人位姿，利用手眼变换矩阵将原始点云统一至全局坐标系，经RANSAC平面分割、统计滤波及法向量滤波提取肋板与底板结构特征实现子部件划分与焊缝粗定位，选用适合无色彩特征的单色金属工件成像的Medway MV-GED200M-T相机，实船自然光下采集图像无高光畸变满足算法要求。

3. Processing of Welding Path Image and Feature Value Extraction

阐述形态学开运算（先腐蚀(Erosion)后膨胀(Dilation)去除孤立噪声平滑外轮廓）与闭运算（先膨胀后腐蚀填充内部孔洞修复断裂轮廓）原理。图像预处理采用SURF特征提取与FLANN匹配经OpenCV Stitcher类拼接大视场全景图，对比均值滤波、高斯滤波与中值滤波，确定中值滤波在抑制散粒噪声同时最好保留焊缝边缘，经直方图均衡化后采用Otsu最大类间方差法进行阈值分割二值化。三维点云处理设计三级滤波策略提取纯焊接构件点云：粗滤波用RANSAC拟合最大水平面（底板）沿Z轴直通滤波去除低于阈值点（内点距离阈值1.0 mm）；细滤波用SOR（k=50近邻，标准差倍数1.0）去除离群噪点；语义滤波计算各点法向量保留Z轴分量夹角小于15°顶面点。将点云正交投影至XY平面经区域生长分割、PCA求主轴与法向确定长宽正交线段重构包围矩形轮廓。

4. Experimental Study and Analysis on Welding Path Recognition for Typical Ship Structures

基于Windows 10平台Visual Studio 2010、OpenCV 2.4.9及点云库(Point Cloud Library, PCL) 1.8.0开发算法。提取各焊接端面板点云经区域生长分割为独立聚类，正交投影后PCA重构包围矩形轮廓参数化四角顶点，沿轮廓边生成全熔透及平角接头焊缝轨迹，定义末端执行器工作空间包络进行碰撞检测排除干涉段得最终可执行路径。对五类典型工件实验显示算法可靠识别各几何焊缝轨迹。以CMM实测值为真值对比：传统离线编程RMSE达4.15 mm最大误差5.89 mm；在线视觉识别RMSE=0.82 mm，SD=0.45 mm，最大绝对误差1.50 mm。通过XYZ四点标定减小机器人残余重复性变异，反复标定将相机重投影误差由约0.6像素降至0.4像素。用ICP实现CMM、机器人及视觉系统坐标配准建立统一全局坐标系。误差预算分析量化各独立误差源（机器人动态定位σ=0.12 mm、相机内参标定σ=0.10 mm、手眼标定σ=0.15 mm、点云ICP配准σ=0.08 mm、焊缝边缘检测σ=0.20 mm、算法处理RANSAC拟合σ=0.08 mm加PCA拟合σ=0.12 mm合计σ=0.14 mm、环境干扰σ=0.05 mm），合成理论总误差0.685 mm与实测RMSE 0.82 mm吻合，差值源于未建模透镜畸变等次要因素。消融实验表明去除SURF-FLANN拼接RMSE升至1.25 mm、去除RANSAC分割升至1.18 mm、去除PCA重构升至1.03 mm，证实各模块显著贡献精度。与2023—2025年六种前沿方法对比，所提方法在完全非结构化船厂环境验证且覆盖五类复杂构件具独特优势。

5. Conclusions and Future Directions

研究人员得出结论：(1)机器人—单色视觉集成系统实现复杂船体结构件大面积自动扫描与数据采集；(2)融合SURF/FLANN图像拼接、RANSAC点云分割及PCA轮廓重构的混合算法流程实现高精度焊缝路径提取，RMSE达0.82 mm；(3)所提在线视觉识别系统显著优于传统基于CAD的离线编程，焊缝最大绝对定位误差由5.89 mm降至1.5 mm；(4)严谨误差分配分析定量分解机器人、相机标定、算法处理及环境干扰对总误差的贡献，增强实验结果科学性与可信度。研究局限为依托KUKA平台且仅适配平面焊缝。未来方向包括：在ABB/FANUC平台移植验证算法；引入B样条(B-spline)曲线拟合实现三维空间曲焊缝轮廓重构与轨迹规划；集成卷积神经网络(Convolutional Neural Network, CNN)图像识别实现熔池质量实时检测与焊接轨迹闭环调整。