通过使用自适应条件性丢弃（adaptive conditional dropout）和动态正则化（dynamic regularization）技术来增强卷积神经网络（convolutional neural networks）的性能

《Scientific Reports》：Enhanced convolutional neural networks by using adaptive conditional dropout with dynamic regularization

　　

摘要

深度卷积网络具有较高的容量，因此容易过拟合，尤其是在训练数据受限或不平衡的情况下，这影响了它们在安全应用中的适用性。为了解决这个问题，我们提出了条件性Dropout与动态正则化（CDDR）方法，这是一种简单的、基于训练阶段的正则化技术，无需对网络架构进行任何修改。在CDDR中，前四个训练周期内完全禁用Dropout机制，以促进无Dropout的特征学习。从第五个周期开始，Dropout率会根据训练损失的一阶导数动态调整，之后在整个训练过程中保持不变。同时，L2权重衰减的强度也会根据训练情况更新。此外，在训练过程中，CDDR方法会使用条件性Dropout技术；在推理阶段，还可以选择性地应用蒙特卡洛Dropout来近似预测不确定性。当将CDDR应用于VGG-16和ResNet-18模型在CIFAR-10、CIFAR-100和Tiny ImageNet数据集上的实验时，其性能优于标准的DropBlock和SpatialDropout方法：在CIFAR-10数据集上性能提升了3.3%，在CIFAR-100数据集上提升了9.27%，在Tiny ImageNet数据集上提升了3.94%，并且将CIFAR-100数据集的训练集与测试集之间的差距缩小了58.8%。这些结果表明，CDDR在提升现有卷积神经网络（CNN）的性能方面非常有效，尤其是在数据稀缺和类别不平衡的应用场景中。