解构深度不平衡回归：全面综述与实验评估

《ARTIFICIAL INTELLIGENCE REVIEW》：Deconstructing deep imbalance regression: a comprehensive review and experimental evaluation

　　

摘要

在现实世界的应用中，存在一个根本性问题：对于预测有趣事件、异常值和高风险离群值而言最为关键的数据恰恰是最稀少的，而相对不那么重要的数据却非常丰富。尽管深度学习被专门用于这些具有挑战性的预测任务，但数据驱动的模型在数据代表性不足的领域仍不可避免地会失败。这种实证数据分布与期望评估分布之间的差异等同于目标分布的偏移。为了解决这一挑战，研究领域“深度不平衡回归”（Deep Imbalanced Regression，简称DIR）应运而生，尤其是在连续目标情况下，这一问题尤为突出，因为大多数传统的基于分类的方法都难以有效处理。在本文中，我们首次全面回顾了DIR领域的研究进展，该回顾采用了一种新颖的双轴分类法，沿着“数据轴”（目标分布偏移、连续性和密度）和“深度学习轴”（共享能力、更新偏差和流形扭曲）来梳理相关挑战。其中，“深度学习轴”揭示了一种连锁故障机制，这种机制导致深度模型系统性地忽略了数据代表性不足的目标。在此框架下，我们系统地分类并分析了19种先进的解决方法，这些方法涵盖了架构层面、算法层面和表示学习方法，并通过公开可用的实现，在受控且相同的条件下对其中12种方法进行了实证重新评估。为了全面测试模型在整个目标范围内的泛化能力，我们提出了三种新的针对性评估协议：平衡外推（Balanced Extrapolation）、双峰插值（Bimodal Interpolation）和盲点隔离（Blind-Spot Isolation），这些协议能够揭示标准评估指标所掩盖的故障模式（https://github.com/noah-puetz/deconstructing_deep_imbalanced_regression）。我们的研究强调了数据不平衡对回归准确性的显著影响，提供了一个概念框架和实用评估标准，以促进能够同样可靠地捕捉罕见数据与常见数据的系统的进一步发展。