机器人定位精度与重复性的摄影测量表征 塞巴斯蒂安·查洪（Sebastián Chajón）、 约尔格·赖夫-斯特凡（J?rg Reiff-Stephan）和 诺曼·冈瑟（Norman Günther）

《Robotics》：Photogrammetric Characterization of Robot Positioning Accuracy and Repeatability Sebastián Chajón, J?rg Reiff-Stephan and Norman Günther

　　摘要
增材制造技术使得低成本、自制的机器人系统成为可能；然而，这些系统的性能通常缺乏经过验证的评估指标。本文提出了一种基于摄影测量的概念，该概念可以独立于系统使用，用于评估平面定位精度和重复性，而无需访问内部控制器的数据。该方法利用Raspberry Pi 4摄像头系统、Python 3.12.0和OpenCV 4.12.0进行图像处理，并结合了一个通用的增材制造机器人工具附件。研究了两种位置估计策略：一种是基于ArUco标记的标记方法，另一种是基于红宝石球的无标记斑点分析方法。通过使用不同的图案对摄像头进行了校准，其中紧凑型CharUco板显示出最低的RMS重投影误差（约1像素）。实验验证遵循ISO 9283:1998标准的部分要求，包括在五种目标姿态下进行30次重复测试，分别针对线性运动和轴向运动策略。结果表明，基于标记的方法比无标记方法具有更小的位置偏差，在所研究的条件下，使用两个标记的配置获得了最低的平均偏差。实验实现了亚毫米级的定位精度和重复性，并且线性运动的重复性偏差低于轴向运动。所提出的方法为外部机器人特性评估提供了一种经济高效且灵活的解决方案，特别适用于自制系统和资源受限的环境。

1. 引言
增材制造技术基于三维CAD模型逐层制造组件，近年来由于技术进步而变得越来越普及。现代3D打印系统的购置成本降低，加上自动化辅助功能和先进切片软件的改进，使得增材制造被越来越多的私人用户、教育机构以及中小型企业（SMEs）所采用[1,2]。结合微控制器、传感器和执行器，可以实现定制的机床、定位系统和自制机器人系统，其机械设计往往基于增材制造的结构部件[2,3]。自制机器人系统与商用机器人系统的一个关键区别在于缺乏经过验证的性能指标。虽然工业机器人的制造商提供了关于定位精度和重复性的规格，但自制机器人往往在缺乏对其可达精度可靠了解的情况下运行，这限制了对其适用于精密应用的评估[4]。此外，增材制造过程本身可能会影响机械性能，从而影响机器人结构的精度[5]。
对于工业机器人系统的特性评估，常用的测量方法包括SMR跟踪、激光干涉测量或球杆测试[6,7]。这些方法具有较高的测量精度，但需要专门的计量设备和大量的实验工作。因此，它们在自制机器人系统中的应用，特别是在教育和成本敏感的环境中，受到很大限制[8]。
鉴于此，本研究提出了一种基于摄影测量的概念，旨在独立于系统地评估自制机器人的定位精度和重复性。该方法基于配备摄像头模块的Raspberry Pi 4，并使用Python 3.12.0和OpenCV 4.12.0实现的软件解决方案，从而能够在不与机器人内部控制系统耦合的情况下进行外部基于摄像头的位置估计[9,10]。图1展示了选定的测量设置。通用的增材制造工具附件便于在不同机器人运动学结构上应用该系统。捕获的图像数据用于确定实际位置，然后与预定义的目标位置进行比较。

2. 相关工作
几十年来，机器人系统精度的评估一直是科学研究的主题[11]。对于商用工业机器人，存在基于标准的测试程序，特别是根据ISO 9283:1998，该标准定义了定位精度和重复性等性能指标，并提供了标准化的实验方法[7]。实际上，这些程序通常使用外部测量系统实现，主要针对工业串联机器人系统设计[8]。已建立的测量方法包括球形安装的反光器（SMR）、激光干涉测量、球杆测量系统和基于传感器的校准解决方案[8,12]。这些方法能够实现非常高的测量精度，但需要大量的设备投入，并对测量设置和系统集成有特定要求，这限制了它们在工业环境之外的应用[8]。
基于视觉的测量系统已成功应用于定位精度和重复性的实验确定，并具有很高的外部适用性。最近在基于摄像头的机器人特性评估方面的发展进一步强调了可访问和灵活的测量方法的重要性，特别是在高端工业计量不可用的情况下[13]。因此，本工作的贡献主要在于将现有的基于摄像头和摄影测量的方法实际集成到低成本且易于使用的机器人特性评估系统中。因此，重点不在于计量前沿的方法创新，而在于将现有技术转移到适合研究和教学的框架中。

3. 方法论和基本思想
本研究探讨了一种用于评估x-y平面机器人精度的摄影测量概念。该方法概念上设计为独立于系统使用，基于外部摄像头对通用工具附件的检测。位置估计完全在机器人控制器之外进行，因此不受相应的运动学、控制架构或内部传感器模型的限制[9,13]。测量仅依赖于捕获的图像数据，因此不需要任何内部机器人参数或校准信息。从这个意义上说，该概念并不依赖于特定的控制器架构。然而，本研究中展示的实验验证仅在单一机器人平台上进行。因此，将其转移到其他机器人系统应被视为设计目标，而不是实验验证的结果。目标位置是通过特定于机器人的控制器来实现的，与测量系统无关，从而允许对外部测量得到的实际位置进行评估。
测量系统的机械设计如图2所示。工具附件是增材制造的，并配备了金属螺纹插件，以确保可重复地安装在机器人上。一个可互换的标记板使用激光切割机制造，并刻有ArUco标记，允许在不修改基础设计的情况下进行不同的标记排列。图2. 增材制造的机器人工具附件，带有可互换的标记板。标记板上刻有ArUco标记及其对应的ID编号。红色箭头指示各个组件的组装方式。
为了评估测量概念，研究了两种位置估计方法：一种是基于ArUco标记的标记方法，另一种是基于红宝石球的无标记斑点分析方法。这两种方法在相同的实验条件下进行了比较。ArUco标记是具有唯一编码的二进制方形基准标记，能够实现稳健的检测以及位置和方向的估计，并完全集成到OpenCV 4.12.0库中[10,13]。为了研究标记数量的影响，考虑了使用一个、两个和四个标记的配置，这些标记在可互换标记板上以定义的几何形状排列。使用多个标记可以提供冗余的位置估计，从而提高对单个标记部分遮挡的鲁棒性，并减少图像噪声的影响。最终得到的TCP位置是从检测到的标记位置的几何组合中确定的。

作为对比方法，研究了一种基于斑点分析的无标记位置估计方法。为此，在工具附件上安装了一个红色的红宝石球，由于其高色彩对比度而作为视觉特征。图像处理通过HSV颜色空间中的颜色分割进行，然后进行斑点分析以识别连接的图像区域。检测到的斑点的质心被解释为图像平面中的投影TCP位置。与基于标记的方法相比，这里使用的斑点分析实现不提供方向信息，在当前设置中证明对稳定的照明条件更为敏感。因此，它仅作为对比方法使用。

4. 图像捕获和处理的实验设计
所使用的摄像头配备了广角镜头（大约75°的视野角），以便完全捕捉机器人的工作空间。然而，广角镜头在图像边缘区域引入了明显的径向镜头畸变，这可能会影响度量图像的评估[14]。因此，需要进行上游摄像头校准。校准用于确定相机的固有参数和畸变系数，以实现图像的无畸变转换到度量一致的坐标系[14]。校准使用OpenCV 4.12.0库进行，该库提供了传统的相机校准程序和ArUco标记检测功能。研究了传统的棋盘格图案和CharUco板。虽然棋盘格图案仅依赖于几何角点检测，但CharUco板结合了棋盘格结构和唯一编码的ArUco标记，从而在部分遮挡或不利视角下实现更稳健的角点检测。校准图案在软件中生成，打印在纸上，并平放在亚克力板上。
为了校准，拍摄了40张具有不同位置、方向和倾斜角度的图案图像。相机焦距调整为大约10-15厘米的工作距离，以确保工具附件的清晰显示，同时保持系统的紧凑设计。如果没有这种校准，将会出现系统测量误差，也无法可靠地从像素坐标转换为度量坐标[14]。测量场景从下方用两个散射式演播室灯光照明，以提供足够的对比度以便可靠地检测ArUco标记。照明布置选择使得所有四个ArUco标记在所有五种目标姿态下都保持可见，同时最小化侧向照明引起的阴影。相机板放置在机器人下方，相机对准方式使得中心目标姿态（即标记板的中心）直接位于光轴下方。其相对于标记板的放置位置由可用的机器人工作空间、所有四种标记在所有五种姿态下都可见的要求以及保持标记板清晰对焦的需求决定。此外，还必须考虑所选广角镜头的最小工作距离。在当前设置中，选择了大约20厘米的工作距离，并在此限制内选择了最大的可能测量区域，同时确保所有标记的完全可见。
用于评估的图像以相机的完整原生分辨率4056 × 3040像素进行捕获和处理。在图像捕获前应用了5秒的稳定时间，以使机器人稳定下来，并减少残余振动和运动引起的图像模糊的影响。相机牢固地安装在A4亚克力板上，以保持相对于标记板的稳定且大致垂直的方向，从而减少透视相关的畸变。相机系统不允许手动调整曝光或增益等参数；因此，图像捕获使用相机的自动设置进行。为了使照明条件在整个测量过程中尽可能保持恒定，采用了这种设置。
作为质量指标，使用了RMS重投影误差，它描述了检测到的图像点与相机模型投影点之间的平均偏差。所研究的校准图案和相应的重投影误差总结在表1中。表1. 使用的校准样本概述。算法1描述了分析一组校准图像以计算相机畸变参数的过程，并通过将计算出的3D点投影到图像上并测量偏差来获得平均重投影误差。所有校准图像都在相同的照明和捕获设置下记录。A6大小的CharUco板获得了最低的RMS重投影误差1.01像素，因此被选用于后续测量。相比之下，A6棋盘格图案的重投影误差为1.53像素，A4 CharUco板为7.48像素，表明在当前成像条件下所选图案的校准质量明显更好。
为了进行视觉验证，生成了一张示例性的无畸变图像。图3和算法1展示了校正示例和校准过程。广角镜头引入的畸变在中心图像区域得到了很大程度的补偿。图3.通过相机校准纠正垫形透镜的畸变。(a) 原始图像和 (b) 校正后的图像。红色箭头更清晰地突出了畸变及其校正情况。由于相关测量区域有意设置在图像中心，且未使用图像边界进行位置估计，因此未进一步考虑周边区域的剩余畸变。因此，报告的RMS重投影误差作为所采用校准质量的定量指标，而评估图像区域外的畸变对当前的平面测量来说相关性有限。原则上，通过获取覆盖图像边界更广的额外校准图像，可以进一步减少畸变。

算法 1 校准
输入：
I: 校准图像集 (nc,nr)
内棋盘角的数量
s: 方格大小 (mm)
Nmin: 有效图像的最小数量
输出：
K: 相机内参矩阵
d: 畸变系数
r, t: 外参参数
rms: RMS重投影误差
err: 平均重投影误差

1: 加载所有校准图像
2: 生成3D棋盘角坐标
3: 初始化空点列表 (objPoints, imgPoints)
4: 对于每张图像 I:
5: 将图像转换为灰度
6: 检测棋盘角
7: 如果检测失败，则跳过该图像
8: 将角细化到亚像素精度
9: 存储3D物体点和2D图像点
10: 结束循环
11: 如果有效图像数量 < Nmin，则中止校准
12: 运行相机校准以计算 K, d, r, t
13: 将3D点重新投影到图像中
14: 计算平均重投影误差 err
15: 将校准结果保存到文件中
16: 返回 K, d, r, t, rms, err

5. 测试程序
本研究中定位精度和定位重复性的确定基于ISO 9283:1998的选定要素。特别是，使用五个目标姿态和30次重复遵循基于标准的机器人性能测试的一般结构。然而，当前的实现仅限于在恒定高度下的平面x-y评估，因此仅代表标准框架的部分平面应用。
总共记录了30组图像，每组包含五个预定义的目标位置，共得到150个单独的测量结果。五个目标姿态的选择基于ISO 9283:1998的选定要素，并根据当前的平面测量设置进行了调整。如图4所示，这些姿态分布在相关的x-y工作空间中，以便在恒定高度条件下覆盖被测量的中心区域和周围区域。它们的排列旨在提供基于相机的设置中可访问工作空间的代表性平面覆盖，而不是实现机器人工作空间的完整空间评估或专门的奇异性分析。目标位置是通过独立的机器人控制程序指令的，并未与测量系统耦合。

图4. 被测平面工作空间内五个目标姿态的空间排列。标记点P1至P5表示选定的目标姿态及其调查顺序。所有评估仅在x-y平面上进行；有意排除了沿z轴的运动。
因此，本研究仅评估平面定位行为，不考虑z轴偏差或工具方向精度。因此，报告的结果仅反映了机器人整体精度的一部分。

根据ISO 9283:1998，定位精度定义为测量实际位置的重心与目标位置之间的欧几里得距离：
(1) 定位精度 [mm]：实际位置的坐标 [mm]；目标位置的坐标 [mm]。
实际位置的均值如下：
(2) 第j次测量的坐标 [mm]；重复次数 [-]。
定位重复性是根据测量实际位置到重心的平均距离加上三倍相应的标准差来确定的：
(3) 定位重复性 [mm]：到重心的平均距离 [mm]；距离的标准差 [mm]。
各个距离以及平均距离的定义如下：
(4) 第j个实际位置到重心的距离 [mm]；重复次数 [-]。
距离的标准差由以下公式给出：
(5)

6. 实验研究
图5提供了用于实验研究的测量设置概览。被研究的机器人系统用蓝色标出。它配备了一个双指夹具，用于固定带有ArUco标记板的通用机器人工具附件，标记板用红色表示。在x-y平面上，与工具附件平行放置了一个装有Raspberry Pi相机模块的载板，并用绿色标出。Raspberry Pi通过Wi-Fi将视频流传输到连接的笔记本电脑上。当接收到指令时，相机会拍照，然后在笔记本电脑上本地保存和处理这些照片。

为了研究接近策略的影响，进行了两个独立的测量系列。在第一系列中，通过笛卡尔空间中工具中心点(TCP)的线性移动来接近目标位置。在第二系列中，通过轴向(轴向)机器人运动来接近目标位置，其中目标位置是通过各个关节的运动沿着曲线轨迹达到的。对于每种接近策略，在五个预定义的目标位置进行了30次重复，每个系列产生两个独立的数据集，每个数据集包含150张图像采集。

有意排除了沿z轴的运动。所有运动仅在x-y平面上进行，并且工具高度保持恒定，以确保测量的偏差可以完全归因于平面定位和重复性效应。

7. 结果与讨论
为了将像素坐标转换为度量坐标，使用了已知的ArUco标记的边长作为平面参考。经过相机校准和图像去畸变后，测量得到平均标记大小为145.412像素，并将其对应到实际边长15.0毫米，从而得到缩放因子0.103毫米/像素。这个因子适用于所选的测量设置，即固定的相机位置、校准的工作距离以及标记板在x-y测量平面内的大致恒定高度。因此，这种转换代表了所研究设置的平面近似值，不能直接应用于不同的深度或改变的场景几何形状，除非重新校准或重新缩放。

首先分析了位置估计方法的影响。表2展示了不同方法和运动策略下的平均位置偏差。在所研究的设置中，基于标记的方法显示出比无标记方法更低的平均位置偏差。在测试的基于标记的配置中，两个标记的排列在当前实验条件下产生了最低的平均偏差。这一结果是对所研究设置的描述性解释，并不构成正式的统计优势证明。

表3总结了基于测量实际位置与预定义目标位置之间偏差的每个目标姿态的定位精度。选定的姿态代表了所研究的平面工作空间的中心和周围区域，并被选为在当前基于相机的测量范围内提供代表性覆盖。

尽管线性运动的最大位置偏差较高，但总体平均偏差低于轴向运动。这一观察结果是描述性的，并不意味着线性运动具有普遍优势。

根据ISO 9283:1998，定位重复性是根据测量实际位置到重心的平均距离加上三倍的标准差来确定的：
(3) 定位重复性 [mm]：到重心的平均距离 [mm]；距离的标准差 [mm]。
各个距离以及平均距离的定义如下：
(4) 第j个实际位置到重心的距离 [mm]；重复次数 [-]。

通过光度测量获得的重复性偏差高于制造商的规格和独立的刻度指示器参考测量结果。然而，这些结果应谨慎解释，因为它们反映了机器人实际定位行为和外部光度测量链不确定性的综合效应。虽然独立的刻度指示器测量为机器人本身的重复性提供了参考，但它们并没有完全隔离基于相机的测量过程的影响。例如，校准残差、标记检测、比例转换、安装条件以及可能的振动等因素也可能导致观察到的偏差。在本研究的范围内，没有严格区分与机器人相关和与测量相关的不确定性，这仍然是未来研究的重要课题。

在相机校准过程中，确定了平均RMS重投影误差为1.01像素。使用平面缩放因子0.103毫米/像素，这个值表示图像空间中的误差大约为0.1毫米。然而，RMS重投影误差不应被解释为机器人工作空间中终点定位的直接度量，因为整体测量结果还受到残余畸变、标记检测、比例转换、安装条件以及可能的振动等因素的影响。

除了讨论的与校准相关的不确定性外，获得的结果还可能受到其他因素的影响，这些因素在当前研究中没有系统地调查。这些因素包括透视效应、标记的确切放置和几何形状、照明的稳定性、工具附件的装配公差以及图像采集过程中的可能振动。尽管尽量保持实验条件的一致性，但这些因素对测量偏差的个别贡献并未单独量化。对这些因素的系统研究是未来工作的一部分，将进一步提高测量链不确定性的可解释性。

表5报告了所研究目标姿态的平均测量坐标值及其相关的95%置信区间。这些值按照评估的运动策略列出。

可以使用各种测量技术来表征机器人系统的精度，包括球形安装的反射器(SMR)跟踪、激光干涉测量、伸缩球杆系统和光度测量方法。尽管传统方法提供了非常高的测量精度，但它们通常需要专门的硬件和较高的成本，主要适用于工业串联机器人系统。因此，它们的适用性对于小型工作空间和自制的或教育用的机器人系统有限。因此，本研究并不旨在直接替代这些高精度的工业测量方法，而是一种低成本且易于获得的替代方案，适用于没有此类设备的应用导向的机器人特性评估。

在这项工作中，光度测量被研究作为一种成本效益高且外部应用的方法，用于表征定位精度和重复性。相关基于视觉的方法在文献中被描述为外部机器人表征的灵活解决方案[9,14]。基于RMS重投影误差的相机校准程序比较表明，紧凑型CharUco板即使在短工作距离下也能提供足够准确的校准[10]。

根据校准后的相机模型，评估了x-y平面上的平面位置估计。基于ISO 9283:1998的选定要素，比较了基于标记的ArUco配置和无标记的斑点基方法，结果显示基于标记的配置在所研究条件下具有更低的偏差和更稳定的行为。然而，图像噪声和部分遮挡下的鲁棒性并未在本研究的范围内系统地评估。冗余的标记配置可以降低对图像噪声和部分遮挡的敏感度，这与文献[10,13]中的研究结果一致。相比之下，本文研究的无标记方法（即基于红宝石球体颜色分割的斑点分析实现）在当前设置下对光照条件和几何边界效应的依赖性更强。这一限制是由于本研究采用的特定实现方式造成的，不应被理解为所有无标记光度测量方法的一般特性[14]。实验验证是在一个单一的机器人系统上进行的。因此，本研究证明了所提出概念在该特定平台上的可行性，但并未对其在其他机器人系统上的普遍适用性进行实验评估。外部测量策略、缺乏内部传感器数据以及模块化的机械设计表明该概念具有应用于其他类型机器人和控制器架构的潜力。然而，这种适用性应被视为该概念的设计特性，而非本研究验证出的普遍结果。

8. 结论
所提出的概念具有应用于其他增材制造机器人系统的潜力，因为这些系统的制造相关影响和几何特性往往没有得到定量评估。此外，它还能够在相同的测量条件下对不同机器人进行比较评估，包括自制机器人与商用工业系统之间的直接对比。未来的工作应将这一概念扩展到三维测量，以捕捉z坐标和方向偏差，而不仅仅是平面精度。进一步的潜力在于将其集成到自动化校准和验证流程中，这在最近的机器人校准研究中被确定为关键研究方向。此外，还应研究动态效应，如速度、加速度和轨迹形状的影响。最后，对不同机器人类型、工作空间和相机配置的适用性进行系统评估将进一步提高该方法的普遍适用性。