消除优化差距：一种基于双温度的监督对比学习方法

《Expert Systems with Applications》：Eliminating the Optimization Gap: A Dual-Temperature Approach to Supervised Contrastive Learning

　　

吴一凡|肖磊|高宇|杜霞

摘要

监督对比学习（SupCon）通过显式地将同类别样本分组来学习具有区分性的表示，但在批量正样本稀缺的情况下，其收敛速度通常比标准的交叉熵（CE）目标慢。这种问题在长尾识别和少样本迁移场景中尤为常见。优化速度的减慢不仅仅是一个理论上的不便：它直接导致训练时间延长，并且在相同的硬件预算下计算效率降低。在这项工作中，我们发现这种低效率与SupCon和CE之间固定的实例-类别规范化差距密切相关。为了解决这个问题，我们提出了双温度SupCon（DT-SupCon），它使用类别级别的正温度和全局负温度分别调节类内收缩和类间分离。这种设计在不引入额外采样机制或改变整体训练流程的情况下，减少了有效的优化差距。在标准的平滑性和全局Polyak–?ojasiewicz（PL）假设下，DT-SupCon相对于普通SupCon具有更快的收敛速度，同时仅需要微不足道的额外计算资源和类线性额外的内存。在平衡的基准测试集、三个长尾基准测试集（CIFAR-100-LT、ImageNet-LT和iNaturalist 2018）以及六个5次样本迁移任务上的广泛实验表明，DT-SupCon的表现一致优于SupCon：在平衡基准测试集上，Top-1准确率提高了1.9–2.6个百分点；在长尾基准测试集上，尾类准确率提高了高达4.5个百分点；在六个5次样本迁移任务上，额外提高了1.5–3.1个百分点。此外，在使用ResNet-50作为骨干网络的Tiny-ImageNet上，DT-SupCon将整体训练时间缩短了29%，同时仅额外使用了0.05 GiB的VRAM。这些结果表明，DT-SupCon是一种简单且有效的监督对比学习增强方法。