EADA：高效的自适应数据增强

《Computer Vision and Image Understanding》：EADA: Efficient adaptive data augmentation

本文提出高效自适应数据增强方法EADA，结合小范围搜索和动态参数冻结策略，在降低训练成本的同时提升模型准确性和泛化能力，实验验证其在多任务数据集上的有效性。

　　

刘松|王志明|张颖|吴伟国|王金宇|聂世强

西安交通大学计算机科学与技术学院，中国陕西省西安市710049

摘要

数据增强（DA）通过丰富训练样本数据的多样性，帮助深度神经网络实现更好的泛化能力和性能。近年来，自动DA方法取代了手动设计的方法，在训练过程中通过搜索或优化DA参数达到了最先进（SOTA）的准确率。然而，这两种方法对于大规模模型和数据集来说都伴随着巨大的计算成本，从而导致效率低下。我们通过大量实验发现，为了获得最佳性能，并不需要较大的搜索空间和持续更新DA参数。因此，我们提出了一种高效的自适应数据增强方法EADA。EADA有效地结合了DA操作搜索和在线参数更新。它使用了一个小的搜索上限和一个高效的搜索算法，基于模型准确率与应用的DA操作数量之间的关系来优化DA操作搜索。基于自适应的基于梯度的参数更新，EADA提出了一种冻结策略，根据DA操作对模型损失的贡献动态冻结参数更新，从而有效避免了过于激进的DA策略，并降低了计算成本。大量实验表明，与SOTA自动DA方法相比，EADA在各种视觉任务（例如图像分类、对象检测和语义分割）和数据集上实现了更高的模型准确率、更好的泛化能力和更低的训练成本。在图像分类任务中，EADA将训练成本降低了6.4倍。

引言

数据增强（DA）作为一种正则化技术，在提高深度神经网络（DNN）的泛化能力方面起着非常重要的作用，它通过随机变换训练样本图像来扩展原始数据集的数量和多样性，适用于图像分类（Krizhevsky等人，2012年；Simard等人，2003年）、对象检测（Zou等人，2023年）和语义分割（Minaee等人，2021年）等视觉任务。应用DA策略时，应保持图像的原始分类标签正确，否则会导致标签与增强图像之间的不一致，从而降低DNN模型的结果准确率（Aminbeidokhti等人，2024年）。

早期的工作集中在手动设计的DA方法上（DeVries，2017年；Hendrycks等人，2019年；Qin等人，2020年；Yun等人，2019年），以丰富和多样化监督数据集。然而，手动设计的DA方法严重依赖于开发者的专业知识，通常需要针对特定的图像数据集逐个实现，这涉及巨大的劳动力、时间和经济成本。随着DNN模型向更深、更大、更复杂的结构发展，对大规模、多样化和高质量训练数据集的需求变得更加迫切。这加剧了手动设计DA方法的缺点，使它们不太适用于大型DNN模型。这些DA方法正逐渐被自动DA方法所取代（Cubuk等人，2019年；Ho等人，2019年；Lim等人，2019年）。

现有的自动DA方法主要分为两类。一类涉及搜索阶段以获取DA参数（DA操作和增强幅度）（Lim等人，2019年；Cubuk等人，2020年；Hataya等人，2020年；LingChen等人，2020年；Müller和Hutter，2021年）；另一类在模型训练过程中优化DA参数（Ho等人，2019年；刘等人，2021年；吴等人，2020年）。基于搜索的方法通常采用常见的搜索算法（例如网格搜索（Garreta和Moncecchi，2013年）在指定的搜索范围内搜索最优DA参数。当适应大型模型和数据集时，这些方法会面临高昂的搜索成本。对于在线优化DA参数的方法，它们在训练过程中随机采样DA参数并通过指定的更新策略进行优化（例如根据模型损失更新DA参数（Xu和Zhao，2023年））。这些方法会持续优化DA参数直到训练结束。现有的自动DA方法倾向于使用较大的搜索空间或持续优化DA参数以获得所需的性能，并且在各种视觉任务上确实实现了最先进（SOTA）的结果，但效率不够高，尤其是对于当今的大型DNN模型。此外，不受控制的连续更新DA参数可能会导致增强图像丢失原始标签信息，从而降低模型的结果准确率。因此，如何在确保模型准确率有效提高的同时减少额外的搜索和计算成本成为一个亟需解决的问题。

在这项工作中，通过大量实验，我们发现，为了实现高模型准确率，并不需要对DA参数进行大规模搜索，也不需要在整个模型训练过程中持续更新数据增强操作参数。具体来说，可以通过（i）仅在较小的候选空间内搜索DA操作，以及（ii）不必在整个训练过程中持续更新所有DA操作的参数来获得更好的结果。这些发现为实现更高效的自动DA方法提供了机会。此外，受到最近自适应增强技术发展的启发（Xu和Zhao，2023年；Chen等人，2017年），考虑模型状态来更新DA参数对于探索困难样本和提高模型泛化能力是有益的。因此，我们在本文中提出了一种高效的自适应数据增强方法EADA。

图1展示了EADA的工作流程。EADA有效地结合了最优DA操作的搜索和DA操作的在线参数更新。对于预定义的一组DA操作，EADA在训练过程中为每批数据随机采样DA操作的类型和增强幅度。它将使用高效的一维搜索算法（即黄金分割搜索（Kiefer，1953年）在一个小的搜索上限内搜索最优类型的DA操作。然后，对于每次DA操作的搜索，EADA会根据模型损失值的梯度方向自适应地更新采样DA操作的增强幅度，从而获得一种DA策略。在DA操作的参数更新过程中，EADA采用参数更新冻结策略来评估每个DA操作对模型损失的贡献，并在后续训练中冻结贡献最小的操作的参数更新。通过这种方式，EADA可以有效提高增强数据的质量和模型的泛化能力，同时显著降低搜索和计算成本。总之，本文的主要贡献如下。

• 1.
  我们提出了一种高效的自适应数据增强方法EADA。EADA有效地结合了DA操作的搜索和DA操作的在线参数更新。它使用高效的搜索算法在小的搜索范围内搜索最优DA操作，从而显著降低了搜索成本。然后根据模型梯度自适应地优化DA操作的增强幅度参数，提高了目标模型的泛化能力。
• 2.
  我们为EADA设计了一种新颖的参数更新冻结策略。这种冻结策略通过自适应确定评估周期并考虑先前评估结果对模型的影响，来评估每个DA操作参数更新对模型损失的贡献。它动态冻结贡献最小的DA操作的参数更新，以进一步降低计算成本，同时避免损害模型准确率的过于激进的DA策略。
• 3.
  我们进行了大量实验，以评估在各种视觉任务和数据集上提出的EADA。结果表明，与SOTA DA方法相比，EADA实现了更高的模型准确率和泛化能力，并将训练成本降低了6.4倍以上，这证明了EADA的有效性和通用性。

本文的其余部分组织如下。第2节介绍相关工作。第3节阐述了本工作的动机并介绍了所提出的方法。第4节展示了评估结果。第5节总结了本文。

章节片段

手动设计的DA

数据增强是计算机视觉任务（如图像分类和对象检测）中的标准预处理步骤。它们可以在不改变原始标签的情况下丰富训练样本，从而为目标模型实现更好的泛化并防止过拟合。几何变换是最简单的数据增强方法，包括图像处理技术，如平移、旋转、翻转、剪切、缩放和裁剪。此外，还有颜色

动机

DA操作的搜索范围。 RandAugment（RA）（Cubuk等人，2020年）是一种经典的自动DA算法，定义了14种DA操作，包括：shearX/Y、translateX/Y、rotate、color、posterize、solarize、contrast、sharpness、brightness、autocontrast、equalize、identity。RA的搜索空间由两个手动指定的超参数定义：采样的操作数量$N$和它们各自的幅度$M$，通常$N$和$M$被限制为10，然后采用二维网格进行搜索

数据集和实验设置

我们在各种视觉任务和数据集上评估了提出的EADA。对于图像分类任务，我们使用了ResNet-18（He等人，2016年）、Wide-ResNet-40-2、Wide-ResNet-28-10（Zagoruyko，2016年）和Shake-Shake（Gastaldi，2017年）在CIFAR-10和CIFAR-100（Krizhevsky等人，2009年）上进行实验；对于图像Net（Deng等人，2009年）和tiny-ImageNet（Le和Yang，2015年），我们使用了ResNet-18和ResNet-50（He等人，2016年）进行实验。对于对象检测和语义分割任务，我们使用了SSD（

结论

在本文中，我们提出了一种新型高效的自适应数据增强方法EADA。EADA可以在减少的搜索空间内有效搜索DA操作，并在模型训练过程中自适应地更新增强幅度参数。它提出了一种冻结策略，根据操作对模型损失的贡献来冻结参数更新。通过这种方式，我们可以有效地加强DA，以提高目标模型的泛化能力。EADA适用于各种场景

CRediT作者贡献声明

刘松：撰写——审稿与编辑、监督、资源、方法论。王志明：撰写——初稿、验证、方法论、概念化。张颖：调查、数据整理。吴伟国：监督、概念化。王金宇：监督。聂世强：撰写——审稿与编辑。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争财务利益或个人关系。

致谢

本工作得到了中国国家重点研发计划（项目编号：2022YFB4501604）的资助。

刘松于2018年在中国西安交通大学获得计算机科学与技术博士学位。他目前是西安交通大学计算机科学与技术学院的副教授。他的研究兴趣包括模型训练/推理的性能优化、高性能计算和代码优化。