《Ain Shams Engineering Journal》：Cosine annealing scheduler added with momentum factor: classification of tomato plant diseases
编辑推荐：
植物病害分类对于通过及时、准确的诊断提高农业生产力至关重要。本研究探讨了利用四种卷积神经网络（Convolutional Neural Network, CNN）架构进行番茄叶部病害分类的深度学习方法：InceptionResNetV2、VGG16、ResNe
植物病害分类对于通过及时、准确的诊断提高农业生产力至关重要。本研究探讨了利用四种卷积神经网络（Convolutional Neural Network, CNN）架构进行番茄叶部病害分类的深度学习方法：InceptionResNetV2、VGG16、ResNet50 和 ResNet152。为增强训练效果，研究人员采用了三种优化器——Adam、RMSprop 和 SGD，并应用余弦退火调度器（cosine annealing scheduler）以循环方式调整学习率（learning rate, LR）。动量（momentum）与学习率协同微调，以改善收敛性并减少过拟合。这些策略实现了高效的权重更新，并更好地探索损失曲面（loss landscape）。数据增强技术如模糊（blurring）、旋转（rotation）和锐化（sharpening）被用于提升数据多样性和模型鲁棒性。结果表明，ResNet50 结合 Adam 优化器和余弦退火实现了最佳分类准确率。研究发现强调，同时调优学习率和动量可增强泛化能力。所提出的方法支持早期植物病害检测，促进智慧农业和作物保护。
## 研究背景与问题
农业部门的经济实力对一个国家的稳定发展具有重要意义，而植物病害因多种环境因素导致农业生产率遭受重大损失。随着植物病害威胁日益加剧，确保全球粮食安全成为农业领域日益紧迫的关切。传统上，植物病害检测依赖专家的人工目视检查，但该方法耗时费力，需要大量人力投入，且易受主观判断影响，产生诊断不一致性。尽管计算机视觉和图像处理技术的进步推动了自动化检测方法的发展，但传统的计算机视觉方法在特征标注、速度和准确性方面仍面临挑战。
深度学习作为人工智能的子领域，能够自动提取和学习特征，消除了非自动化特征选择的需求。卷积神经网络已成为计算机视觉任务中表现最佳的学习模型，但在植物病害检测的实际应用中仍面临诸多挑战：数据集多样性不足导致模型泛化能力降低；固定学习率可能导致收敛速度不当；轻量级CNN模型的泛化能力有限。其中，固定学习率问题是本研究关注的核心优化方向。
## 研究内容与方法
研究人员针对番茄叶部病害分类问题，系统评估了四种预训练CNN架构（InceptionResNetV2、VGG16、ResNet50、ResNet152）与三种优化器（SGD、Adam、RMSProp）的组合性能，并创新性地提出了结合动量因子优化的改进型余弦退火学习率调度策略。研究使用的样本队列来源于公开数据集PlantVillage，该数据集包含23,936张番茄叶片图像，涵盖10个类别（番茄早疫病、晚疫病、叶霉病、斑枯病、黄化曲叶病毒病、细菌性斑点病、红蜘蛛危害、靶斑病、花叶病毒病及健康叶片），经数据增强后扩展至33,936张图像，按约4:1比例划分为训练集（27,149张）和测试集（6,787张）。
关键技术方法包括：（1）基于ImageNet预训练权重的迁移学习，通过全局平均池化层、128神经元全连接层（ReLU激活）、Dropout层（丢弃率0.5）及10神经元Softmax输出层的自定义分类头实现模型适配；（2）空间数据增强技术，包括模糊、旋转和锐化处理，以扩充数据集规模并提升模型对多样化病害形态的适应能力；（3）改进的余弦退火学习率调度器，在标准余弦退火基础上引入动量因子协同优化，其核心机制为初始阶段设置较高学习率和动量值，随后随训练进程渐进调整，使优化器能够更充分地探索损失曲面并避免局部极小值；（4）5折分层交叉验证及多维度性能评估体系，涵盖准确率、精确率、召回率、F1分数、混淆矩阵及ROC曲线等指标。
## 研究结果
**番茄植株病害分类研究综述与基准设定**
研究首先回顾了传统病害识别方法、计算机视觉与机器学习整合技术、深度学习兴起及其挑战，以及优化技术的演进。传统方法依赖专家经验，存在主观性强、效率低下等固有限制；深度学习通过CNN自动提取特征，显著提升了识别速度与准确性。研究指出，优化技术中的关键参数包括学习率、批次大小（batch size）、训练轮数（epochs）和丢弃率（dropout rate），这些参数的合理配置直接影响模型性能。
**数据集特性与预处理策略**
基于PlantVillage数据集的10类番茄叶部图像，原始的23,936张图像经模糊、旋转、锐化等数据增强手段扩充至33,936张。图像为24位真彩色高分辨率图像，但因来源多样导致分辨率和光照条件存在差异。增强后的数据集按类别均衡分配，形成训练集与测试集，为后续模型公平比较奠定基础。
**基准模型性能评估**
在无任何优化技术（超参数调优、数据增强或迁移学习）的条件下，四种模型的基准性能显示：InceptionResNetV2最终准确率达90%，ResNet152达89%，ResNet50为87%，VGG16为80%。该结果揭示了未经优化的深层网络在特定农业图像分类任务中的性能差异，为后续优化策略的有效性验证提供了对照基准。
**优化策略有效性验证**
应用改进型余弦退火学习率调度器（含动量因子）后，各模型性能显著提升。ResNet50结合Adam优化器表现最优，准确率达98.97%，损失值降至0.0002；VGG16在SGD优化器下准确率为97.98%；InceptionResNetV2在SGD下为97.62%；ResNet152在RMSProp下为96.00%。动量因子的引入使所有模型获得额外性能增益：ResNet50从98.97%提升至99.67%，VGG16从97.40%提升至98.50%，ResNet152从96.00%提升至97.32%，InceptionResNetV2提升最为显著，从90.00%跃升至98.55%。
**学习率动态调控机制分析**
学习率调度与模型准确率的关联分析表明，余弦退火策略通过周期性降低学习率，使优化器能够在损失函数的更优区域稳定收敛。结合动量因子后，优化器在保持历史梯度信息的同时，有效降低了噪声梯度的不利影响。动量的引入帮助克服了优化器陷入局部极小值的固有风险，而余弦退火的渐进式学习率衰减则确保了权重更新的精细化程度，二者的协同作用实现了收敛速度与优化精度的平衡。
**超参数影响评估**
批次大小设为16，训练轮数为50，初始学习率0.001（SGD需0.1以稳定收敛）。自适应学习率调度器在不同时间间隔自动调整学习率数值。评估指标采用准确率和对数损失（交叉熵损失）函数。混淆矩阵可视化显示，优化后的模型在各类别上均实现了精确预测，对角线元素占据主导地位。
**计算效率与时间性能**
时间对比分析表明，采用余弦退火结合动量因子的模型在训练效率和推理速度方面均具优势。ResNet50训练时间从18.9小时缩短至12.4小时，推理时间从14.7毫秒降至10.6毫秒；VGG16训练时间从20.6小时降至15.2小时；InceptionResNetV2从26.3小时降至21.8小时；ResNet152从32.2小时降至26.5小时。这一发现证实了优化策略在提升计算效率方面的实际价值，对实时应用场景具有重要意义。
**统计显著性与泛化能力**
5折分层交叉验证结果显示，ResNet50结合Adam优化器平均准确率达98.70%（标准差±0.43），F1分数为97.80%（标准差±0.51），标准差数值较低表明模型在不同数据划分下保持稳定性能。相较而言，VGG16、ResNet152和InceptionResNetV2虽具竞争力，但平均指标略低且方差较高，显示其对特定训练子集的敏感性。交叉验证结果强化了ResNet50作为最稳健架构的选择依据。
## 讨论总结
讨论部分系统评估了实验结果的深层含义。研究人员指出，优化后的余弦退火调度器通过动态调整学习率和动量，使优化器能够在训练不同阶段智能适应学习节奏，动量因子的定制优化有效引导了损失曲面的搜索轨迹，规避了局部极小值风险。这种技术组合在多样本数据集和跨问题领域均表现出一致性优势。
ResNet50因其约2500万参数的中等规模、残差连接带来的退化问题解决能力，以及搭配Adam优化器和改进调度器后的卓越表现，成为兼顾准确率、模型大小与推理速度的最优选择。其实时推理能力（10.6毫秒）支持在智能手机、边缘处理器等资源受限设备上的部署，适用于移动终端病害诊断、无人机辅助监测及物联网智慧农业系统等场景。
时间效率分析揭示了动量增强型余弦退火在缩短训练周期和加速推理方面的价值，这对迭代实验和实时应用至关重要。研究人员强调，该技术不仅推进了分类准确率的前沿，更为可扩展、低成本的农业病害早期检测提供了技术路径，有助于最小化作物损失并支持可持续农业发展。
## 研究结论
本研究聚焦于利用InceptionResNetV2、VGG16、ResNet50和ResNet152四种深度学习技术提升番茄植株病害分类效果。研究人员首先通过Adam、RMSprop和SGD优化器对神经网络权重和学习率等超参数进行优化，继而引入余弦退火调度器对学习率进行精细化调整，并进一步提出将动量因子纳入协同优化框架。研究表明，动量因子的额外优化显著提升了模型准确率与整体性能，实现了更快的训练收敛、更强的泛化能力及过拟合的有效抑制。
余弦退火调度器通过渐进式降低学习率，支持更精确的权重更新并防止模型滞留于局部极小值；而动量因子的引入使优化器能够累积历史梯度信息，更好地导航损失曲面。二者结合加速了模型向全局最优解的收敛进程。模糊、旋转和锐化等数据增强技术有效扩充了训练数据，增强了模型对多样化病害叶部外观的处理能力，提升了未观测数据的泛化性能。
综合分析结果表明，ResNet50与Adam优化器组合可提供约99%的基准准确率，而在建议的学习率与动量协同微调策略下，性能进一步提升。具体而言，ResNet50取得98.97%的突出准确率，纳入动量后提升至99.67%；VGG16从97.40%提升至98.50%，ResNet152从96.00%提升至97.32%，InceptionResNetV2从90.00%显著提升至98.55%，充分验证了动量因子的广泛有效性。Adam优化器在多数情形下优于SGD。计算效率方面，ResNet50以仅9.6毫秒的超快推理时间展现出色实时性能，而ResNet152训练时间最长为25.5小时。
综上所述，将余弦退火与动量因子相结合，专家能够利用动态学习率调整与策略性动量调制的双重优势，实现加速收敛与增强模型准确率的目标。本研究为未来精进和拓展该技术奠定了基础，有望推动深度学习优化策略的前沿发展。
