跨航次领域自适应的多金属结核检测：一种多模型伪标签方法

《Journal of Marine Science and Engineering》：Cross-Expedition Domain Adaptation for Polymetallic Nodule Detection: A Multi-Model Pseudo-Labelling Approach

　　

深海多金属结核的自动化检测对于处理大量底栖影像至关重要，但其可扩展性面临跨航次c²（协变量）偏移的挑战，如光照、高度和相机载荷的变化，这些因素降低了零样本模型的性能。尽管半监督伪标签标注是耗时重标注的潜在替代方案，简单实现会迅速导致确认偏差。本研究识别了这种退化的两个主要来源：瓦片边界处由瓦片化分割引起的空间噪声，以及由语义领域偏移引起的与架构无关的内部假阳性下限。本工作提出使用多模型集成进行伪标签标注以降低噪声影响。通过空间边界滤波和置信度分层，三种架构不同的教师模型（YOLOv8、Faster R-CNN和DINO）被用于确定一个可靠且领域不变的子空间。在严格的防泄漏留一划分交叉验证协议下，所提出的方法在100瓦片伪标签预算下超越了监督微调基线，跨越四个随机种子（macro mAP_50:95为0.4745±0.0042对比0.4467±0.0079），增益集中在领域偏移最严重的折叠中。超出此预算后，研究发现两个重要的自适应趋势：池大小退化趋势，即过多的伪标签体积主动降低泛化能力；以及微调模型尽管精度更高但降低伪标签保真度的观察，为使用冻结源检查点进行跨领域自适应的优势提供了证据。

本研究致力于解决深海多金属结核自动化检测中的跨航次领域自适应问题。随着深海勘探活动的增加，研究人员需要处理大量底栖影像以实现多金属结核的自动识别与测绘。尽管基于深度学习的目标检测架构（如Faster R-CNN、YOLOv8和DINO）在域内检测任务中表现优异，但跨航次部署时，由于硬件更换、操作条件变化导致的水下光衰减、散射以及像素-公制分辨率等差异，引发了严重的c²（协变量）偏移，使得模型性能显著下降。传统的监督学习方法需要为每个新调查条件进行昂贵的专家重标注，而零样本应用预训练模型又无法跨越这些领域偏移进行泛化。然而，多金属结核的球形形态、表面纹理及与周围沉积物的对比度等视觉特征由矿物学决定，在不同航次间保持一致，这意味着源域训练模型仍保留了对结核外观的有用知识。基于此，半监督伪标签标注成为可扩展的替代方案，但直接应用会引入确认偏差和模型退化，特别是瓦片化分割在边界处产生的碎片伪影以及目标域特征导致的假阳性问题。现有文献多依赖单架构教师模型，在严重c²（协变量）偏移下容易产生确认偏差，且忽视了处理大格式底栖影像固有的空间结构化方法诱导噪声，同时随机训练-测试划分会引入空间数据泄漏。为应对这些挑战，研究人员提出了多模型集成伪标签管道，并在严格的防泄漏留一划分交叉验证协议下进行评估。

本研究使用国际海底管理局（ISA）提供的数据集，包含2018年、2021年和2022年深海多金属结核勘探调查期间采集的高分辨率图像，共计75,576个瓦片（640×640像素，32像素重叠）。由于缺乏物理采集元数据，研究人员通过视觉特征代理量化操作领域偏移，包括亮度、锐度和RGB通道统计等。数据集按年份划分为三个时间分区，采用留一划分交叉验证协议，每次将一个时间分区作为测试集，其余作为训练集，同时实施空间防泄漏组约束，确保源自同一父图像的瓦片不分配到多个划分中。研究人员选取三种架构不同的教师模型：基于Transformer的集合预测检测器DINO、基于锚点的两阶段检测器Faster R-CNN，以及无锚点单阶段检测器YOLOv8s，这些模型均在国际海底科学数据库RV SONNE航次（SO268/1+2）源数据集上训练。

研究人员通过特征空间分析（t-SNE可视化）确认了时间分区间的显著领域偏移，2018年分区与其他分区形成明显分离的聚类。进一步分析对象尺寸分布失配发现，源数据集几乎完全由中等和大型对象组成，缺少微小和小型对象，而目标数据集包含0.90%的微小对象和15.01%的小型对象。最关键的是，研究人员诊断了伪标签噪声的两个主要来源：一是瓦片化分割导致的边界碎片化假阳性，约15.1%-22.8%的注释位于96像素重叠区域内，边界处假阳性率高达48.7%-86.5%；二是与架构无关的内部假阳性下限，三种模型在去除边界预测后仍保持约22%的内部假阳性率。

基于上述诊断，研究人员提出的核心方法为级联过滤管道，共包含三个关键组成部分：首先，64像素空间边界滤波，基于三种模型假阳性率均在64像素处趋于收敛的经验证据，消除瓦片边界的方法诱导碎片化噪声；其次，0.90置信度分层阈值，基于真实阳性率随置信度单调递增并在0.90处达到平稳的经验证据，分离对c²（协变量）偏移稳健的领域稳定子空间；第三，多模型共识机制，要求预测至少获得三种教师模型中两种的支持（IoU≥0.5），利用架构正交性抑制架构特异性幻觉。伪标签生成采用加权框融合（Weighted Box Fusion, WBF）并配置最大置信度模式，经全部过滤后产生167,011个高保真边界框。学生模型（YOLOv8）从源域检查点微调，采用AdamW优化器、余弦学习率衰减，冻结前10层骨干网络层以防止灾难性遗忘。

实验结果方面，研究设置了七种实验条件（A-G）进行组件消融分析。条件A（零样本迁移）macro mAP_50:95为0.253，建立性能下限；条件B（监督微调）在四个随机种子下为0.4467±0.0079，作为主要对比基线，其中2018年测试折叠表现最差（0.262），反映最大领域偏移。条件C为朴素单模型伪标签标注，100瓦片时与基线无显著差异且随池大小增加单调退化；条件D增加空间滤波仍无改善，证明低置信度下内部噪声占主导；条件E进一步增加置信度过滤，但仍未超越基线，揭示单架构高置信度伪标签仍不足够。条件F实现完整多模型集成管道，100瓦片时达到0.4745±0.0042，统计显著优于监督基线（Cohen's d=0.84），增益集中在领域偏移最大的折叠0（2018年），且优于标准Mean Teacher半监督自学目标检测（Self-Supervised Object Detection, SSOD）基线；但超过100瓦片后出现池大小退化，1000瓦片时降至0.4291±0.0157，2000瓦片部分回升后5000瓦片再次下降。条件G增加早期蒸馏步骤，结果与条件F无显著差异，证明上游置信度过滤已隔离干净子集，额外筛选冗余。

消融研究进一步验证：边界框融合策略方面，高置信度子空间中WBF与简单共识聚类几乎等价；微调教师模型虽提升目标域检测精度，但内部假阳性率从37.76%升至52.26%，下游伪标签标注质量未改善，证实冻结源检查点的优势；边界与内部分析表明，管道主要改善内部检测性能；小型结核检测方面，尽管伪标签池仅包含中大型结核，但管道通过尺度不变的形态学习改善了小型结核检测。

讨论部分，研究人员分析了低伪标签计数成功的原因：高保真小信号在未被噪声淹没时最具信息量；池大小退化趋势在所有管道中复现，反映底层噪声分布属性而非特定过滤方案；微调模型过专化效应表明目标域平均精度（Average Precision, AP）不是教师质量的可靠代理，在标注稀缺的跨领域设置中应谨慎使用；内部假阳性下限的架构无关性说明瓶颈源于领域偏移而非模型缺陷，需置信度维度干预而非架构搜索；小型结核检测依赖有限的标注 ground truth 学习，伪标签通过一般形态特征分离改善其定位。

研究结论指出，跨航次深海结核检测器部署受重标注成本和调查期间c²（协变量）偏移严重性的制约。本工作诊断了导致朴素伪标签失败的两个噪声来源：瓦片边界处的假阳性集中，以及低置信度预测中源域偏差引起的与架构无关的内部假阳性下限。诊断框架在标注目标瓦片上表征两种噪声来源，并从经验证据而非超参数搜索中导出原则性过滤阈值。conf≥0.90的预测构成教师输出分布中的领域稳定子空间，在三种模型上独立实现高真实阳性率，表明域偏移下伪标签的可靠性是置信度体制的属性而非模型架构。此外，微调降低教师质量尽管提升检测性能，表明目标域AP在低标注量跨域设置中不是伪标签质量的可靠代理。评估数据集上性能在100伪标签瓦片处达到峰值并超出此点后单调退化，该模式在所有五种评估伪标签管道中复现，被解读为底层噪声分布的属性而非任何特定过滤方案。改进集中在领域偏移最大的折叠，表明伪标签在监督信号较弱时有用。最后，研究表明不同架构的冻结集成教师为跨航次自适应提供了可行的基础，无需额外标注成本，但受本工作表征的噪声分布约束。