在无监督显著物体检测中，克服对背景误判的问题

《Expert Systems with Applications》：Fighting Background Misjudgment for Unsupervised Salient Object Detection

背景误判率评估与自适应分割策略在无监督显著对象检测中的应用。提出BMR动态加权机制和PASS模块（含FBPC和PFSC），通过全局分析优化前景-背景分割比例，结合Gram矩阵增强特征分离，有效抑制邻近背景误判，实验表明优于八种SOD方法。

　　

方子文|朱戈|李振宇|王恒阳|唐金平

黑龙江大学计算机与大数据学院（网络安全学院），中国哈尔滨学府路74号，150080

摘要

基于对比学习预训练模型的无监督显著对象检测（SOD）方法取得了显著进展。然而，由于这些模型固有的前景偏见，现有方法常常在背景判断上存在错误，尤其是在与前景对象相邻的区域。此外，当前用于评估背景错误的指标（例如误报）无法反映不同空间区域中错误判断的严重程度。对于SOD任务来说，错误判断前景附近的背景像素会严重破坏对象结构，从而影响下游任务的性能，而远距离背景区域的错误判断通常较为可容忍。这种空间差异对模型评估至关重要，但迄今为止却被忽视了。为了解决这个问题，我们提出了一种新的评估指标——背景错误率（${\mathrm{BMR}}_{\omega }$），该指标根据背景像素与前景的空间距离动态加权，为下游应用提供区域敏感的指导。此外，我们还引入了一个改进模块来减轻现有无监督SOD方法中的背景错误判断。我们的方法基于基础模型（例如A2S-v3）生成的初始显著性图，包括前景-背景分割组件（FBPC）和伪前景抑制组件（PFSC）。FBPC通过分析图像块的全局显著性分布来动态确定前景和背景块的比例，打破了固定阈值或基于局部对比的分割限制。PFSC通过构建基于Gram矩阵的特征差异增强机制，进一步利用前景和背景特征的统计可分性。它引入了背景错误惩罚损失，以在特征空间中增加前景和背景之间的距离，有效抑制伪前景激活。所提出的模块与模型无关，可以轻松集成到各种无监督SOD框架中。在五个标准基准数据集上的广泛实验表明，我们的方法在减少背景错误判断方面始终优于八种最先进的无监督方法。

引言

显著对象检测（SOD）旨在识别图像中最吸引注意力的区域，为各种计算机视觉任务提供关键的先验知识。作为对象跟踪（Liao, Xu, Hou, & Ismail (2025)）、自动驾驶（Greer, Gopalkrishnan, Deo, Rangesh, & Trivedi (2023)）和医学图像分析（Guo, Wang, Agaian, Han, & Song (2024)）等应用的基本预处理步骤，SOD的性能直接影响下游任务的效果。尽管基于监督学习的方法（Gao, Zhang, Yan, & Lu (2024); Yin & Lin (2025); Zhu, Li, Guo, 2023, Zhu, Li, Guo, 2024a, Zhu, Li, Guo, 2024b; Zhu, Wang, & Tang (2024c)）取得了显著进展，但它们依赖于大规模标注数据集，导致训练成本较高。为了解决这个问题，提出了各种无监督方法（Guan, Lin, & Lau (2025); Song et al. (2023); Yasarla, Weng, Choi, Patel, & Sadeghian (2024); Yuan, Liu, Gao, Dai, & Qin (2024); Zhang, Zhang, Liu, & Kong (2024b); Zhou, Qiao, Yang, Lai, & Xie (2023），旨在减少对人工标注的需求，同时保持竞争性的检测性能。

现有的无监督显著对象检测（USOD）方法（Guan et al. (2025); Yasarla et al. (2024); Yuan et al. (2024); Zhang et al. (2024b）通常使用基于对比学习的预训练模型（例如MoCo (Chen, Fan, Girshick, & He (2020), DINO (Oquab et al. (2023)）进行特征提取，并采用简单的聚类算法或轻量级解码器生成伪标签。虽然这些方法可以有效地学习区分性表示，但它们本质上存在注意力偏见，导致两个关键限制：（1）粗粒度的特征划分导致特征空间中的前景-背景混淆；（2）模型倾向于过分强调前景区域，无法充分建模背景语义信息。这些问题在复杂场景中经常导致背景错误判断——尤其是在对象边界附近，如图1所示。

为了解决背景错误判断问题，可靠的评估指标至关重要。然而，目前专门用于评估背景错误的指标——误报（FP）——无法区分不同空间区域中错误判断的严重程度。在SOD任务中，错误判断靠近前景的区域（即相邻背景）比错误判断远离前景的区域更为关键，因为这些相邻区域在颜色、纹理和空间位置上与前景具有高度相似性。如果模型错误地将它们识别为前景的一部分，可能会导致对象边界模糊和前景扩展等问题，从而降低检测准确性和结构一致性。相比之下，远离前景区域的错误判断对整体显著性分布的影响较小，不太可能扭曲对象的结构完整性。此外，从视觉注意力的角度来看，边界区域表现出显著的分配不确定性。视觉注意力在这些区域中往往竞争性地分配，使得它们在显著对象检测中特别容易发生背景错误判断（von der Heydt (2023)）。因此，需要设计一个评估指标，合理量化不同区域的错误判断，以评估模型在现实世界场景中的适用性。

为了解决现有评估指标在量化背景错误判断方面的局限性，我们提出了一种新的指标——背景错误率（${\mathrm{BMR}}_{\omega }$）。该指标根据背景像素与最近前景区域的空间距离动态加权，从而量化不同空间区域中错误判断的严重程度。这种细粒度的指标不仅更准确地捕捉了背景错误判断的实际严重性，还能更好地评估模型对区域敏感的下游任务的适用性。

${\mathrm{BMR}}_{\omega }$指标揭示了当前USOD方法的一个关键弱点：前景-背景过渡区域内的特征区分不足。为了从根本上克服这一限制，我们进一步引入了一种创新的补丁自适应分割策略（PASS），通过双组件协作机制来抑制背景错误判断，实现精确的显著性检测。PASS建立在现有无监督SOD方法（例如A2S-v3 (Yuan et al. (2024)）生成的初始显著性图的基础上，作为一个轻量级的改进模块，增强边界精度并减少背景错误判断，而不修改基础模型的架构。该设计允许PASS灵活集成到各种无监督SOD框架中。具体来说，输入图像首先被划分为一个N×N的均匀补丁网格，然后由两个组件处理：前景-背景分割组件（FBPC）和伪前景抑制组件（PFSC）。与传统方法（依赖于固定阈值Ru, Zhan, Yu, & Du (2022); Ru, Zheng, Zhan, & Du (2023); Xu et al. (2023)）或基于局部对比的启发式方法Zhang, Xie, Yuan, Mi, & Tan (2024a）不同，FBPC采用全局自适应的分割方案。通过分析所有补丁的全局显著性值，FBPC动态确定最佳的前景与背景补丁比例，确保分割与每张图像的内容一致。PFSC基于显著性的两个关键分布特征进行设计：（1）真实的前景补丁在特征空间中与其相邻的背景补丁高度可区分；（2）相邻的背景区域具有强特征一致性。利用这些观察结果，PFSC引入了基于Gram矩阵的特征对比增强机制。对于FBPC识别的每个前景补丁，使用Gram矩阵计算其与其周围八个背景补丁的相似性。然后使用这些相似性值构建背景错误惩罚损失，明确增加前景和背景区域之间的特征距离，有效抑制背景区域的虚假激活。总之，本工作的主要贡献如下：

•

我们提出了一种空间感知的背景错误率指标，该指标采用基于前景距离的动态加权机制，实现对不同背景区域错误判断的细粒度量化。该指标不仅揭示了模型错误的空间分布模式，还为下游任务提供了区域敏感的诊断洞察。

•

我们引入了一种补丁自适应分割策略，包括两个核心组件：前景-背景分割组件（FBPC）和伪前景抑制组件（PFSC）。FBPC基于全局显著性分析实现动态前景分割，而PFSC通过增强特征分离来抑制背景虚假激活。这两个组件协同工作，实现精确的前景-背景分割。

•

在五个基准数据集上的广泛实验表明，我们的方法在整体性能上始终优于八种最先进的无监督方法。值得注意的是，它在减少背景错误判断率方面取得了显著改进，凸显了其在复杂视觉场景中的鲁棒性和有效性。

相关工作

相关工作

当前USOD方法可以根据伪标签生成方法分为两大类：基于手工特征的方法和基于自监督特征的方法。下面详细介绍了这两种方法。

方法论

我们的框架引入了两项关键创新，以解决显著对象检测中的背景错误判断问题：（1）一种新的背景错误率（${\mathrm{BMR}}_{\omega }$）指标，用于定量评估区域错误判断的严重程度；以及（2）补丁自适应分割策略，包括前景-背景分割组件（FBPC）和伪前景抑制组件（PFSC），用于背景错误校正。整体架构如图2所示。

实验

实施细节。所有实验都在单个RTX 3090 Ti GPU上进行。批量大小设置为8，输入图像被调整为320 × 320。数据增强策略仅包括水平翻转。该方法使用SGD优化器进行了20个时代的训练，初始学习率为0.1，并线性衰减。参数γ, σ², τ, α和s分别设置为1、0.2、0.5和8。显著性检测器也使用了SGD进行了20个时代的训练

讨论

当前模型的主要局限性体现在两个方面：（1）它难以检测细小对象；（2）它倾向于产生次要显著对象的冗余检测。我们在图6中展示了所提方法在典型失败案例上的性能。

如图6所示，模型未能检测到第一行中的机器骨架和床架。这是因为所提方法主要关注大面积背景错误判断，而缺乏足够的

结论

在这项研究中，我们强调了无监督显著对象检测中背景错误判断的空间异质性。所提出的背景错误率（${\mathrm{BMR}}_{\omega }$）指标具有基于前景距离的动态加权机制，以区域敏感的方式量化背景错误，提供了传统指标无法捕捉的细粒度诊断洞察。此外，我们的补丁自适应分割策略（包括FBPC和PFSC）有效缓解了这些问题

未引用的参考文献

缺少参考文献表4。

作者声明

方子文：概念化、方法论、实验、写作——原始草稿、审阅与编辑。朱戈：资源、方法论、实验、写作——审阅与编辑。李振宇：方法论、实验。王恒阳：方法论、实验。唐金平：资源、方法论、实验、写作——审阅与编辑。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。