注意：用于评估天气恶劣环境下系统鲁棒性的增强技术——在具有挑战性的户外条件下改进语义分割的基准测试策略

《IEEE Access》：AWARE: Augmentation for Weather-Adverse Robustness Evaluation — Benchmarking Strategies for Improved Semantic Segmentation under Challenging Outdoor Conditions

　　

摘要：

在人工智能的最新进展中，合成图像生成的进步尤为显著。最先进的模型能够生成几乎与真实照片无法区分的、可控的逼真图像。这些新能力的一个自然应用是数据增强——生成多样化的训练样本，以弥补真实世界数据的稀缺或不平衡问题。然而，更高保真度的合成图像是否真的能带来更好的下游任务性能仍不清楚。本文通过对21种生成式增强策略进行大规模评估来探讨这一差距，这些策略涵盖了GANs、扩散模型、风格转换、2D渲染和多模态方法，特别关注语义分割这一具有代表性的密集预测任务。图像生成基于AWACS数据集，该数据集包含71,400张经过天气平衡处理的图像。为了进行有原则的比较，我们提出了三个主要组件：SWIFT用于条件感知的数据集特征描述，PRISM用于标准化的感知和语义质量评估，PROVE用于下游任务评估。每种策略都在四种架构和六个真实世界数据集上进行了测试（四个用于主要评估，两个用于跨数据集泛化），采用三阶段协议来隔离增强效果。研究得出了三个反直觉的发现：(1) 在训练中加入真实的天气多样性虽然整体mIoU提升幅度不大（+2.45个百分点），但在不利天气条件下的提升幅度却显著增大（+6.04个百分点），大约是最佳生成策略（+2.70个百分点）的2.2倍，这表明真实数据的多样性——而非合成能力——是提高恶劣天气鲁棒性的关键因素，尽管这种比较涉及不同的有效数据量（见第VI节）；(2) 存在质量与性能之间的悖论，即感知上较差的图像反而能带来更好的分割效果（ρ = +0.594，p = 0.005）；(3) 存在增强替代效应，即合成数据和真实天气数据在某些方面存在竞争...

显示更多