在可见光-热成像识别任务中，跨模态的类增量学习尚未完全实现

《Pattern Recognition》：Incomplete cross-modality class-incremental learning in visible-thermal recognition

跨模态增量学习中的不完全数据融合与防遗忘机制研究。通过构建ICMCIL基准，分析发现传统方法在模态竞争和缺失数据下存在显著遗忘，提出HFC框架集成模态完成、特征交换融合和遗忘抑制策略，有效缓解灾难性遗忘。

　　

姚新杰|毕彦贤|王宇|朱鹏飞|赵瑞普|李伟豪|林婉瑜|李凯|胡庆华

天津大学智能与计算学院，中国天津，300350

摘要

可见光-热成像跨模态学习通过整合来自多个来源的信息来提升下游任务的性能。在自动驾驶等现实世界场景中，新的类别不断出现，而由于传感器遮挡，数据往往不完整。这引发了一个关键问题：如何利用不完整的跨模态数据逐步更新模型。为了解决这个问题，我们提出了一种称为“不完整跨模态类别增量学习”（ICMCIL）的实用方法，该方法旨在有效利用不完整的跨模态信息来学习新知识，同时不遗忘旧知识。我们为ICMCIL构建了一个基准测试，并对其挑战进行了全面分析，发现：（1）不同模态的遗忘程度不同；（2）传统的跨模态融合只能部分缓解遗忘；（3）缺失数据会加剧对先前类别的遗忘。为了解决这些问题，我们提出了“通过补全实现混合融合”（HFC）这一统一框架，该框架整合了补全、融合和防止遗忘的功能。此外，我们通过引入特征交换机制来增强信息融合效果，该机制通过重新排列特征和通道来改善信息流动。大量实验表明，HFC能够有效解决ICMCIL问题，显著减轻了模态遗忘现象。

引言

异构传感器的普及极大地丰富了跨模态数据，使得在低光照或遮挡等不利条件下也能实现鲁棒的感知。然而，传感器故障和环境干扰不可避免地会导致跨模态数据丢失[1]，这种丢失可能发生在模态层面或数据块层面。尽管已经提出了多种跨模态恢复方法来重建缺失数据[2]、[3]并保持模态间一致性[4]，但有效整合来自多个不完整模态的互补线索仍然具有挑战性。这激发了对不完整跨模态学习的研究，因为现实世界中的多模态数据往往是不完整且异步可访问的。

随着时间的推移，不断获取不完整的跨模态数据，以及迫切需要持续学习新类别而非一次性学习所有类别的需求，带来了重大挑战。在现实世界场景中，配备各种传感器的自动驾驶车辆会不断遇到新的类别。为了确保安全和稳定的自动驾驶，模型必须在其整个生命周期内持续学习和保留信息，这对于适应动态的跨模态环境变化至关重要[5]。不幸的是，以往关于可见光-热成像跨模态学习的研究并未解决从不完整跨模态数据中逐步学习新类别的问题，限制了这些方法在开放环境中的可扩展性。

在开放环境中，模型在获取新类别时往往会灾难性地遗忘先前学到的知识。为了解决这个问题，提出了类别增量学习（CIL）并将其应用于多个领域[6]。然而，大多数CIL研究关注的是单模态和完整数据[7]，这往往是不现实的。例如，在智能无人系统中，需要多个传感器来感知环境。外部不确定性可能导致传感器部分遮挡或损坏，从而产生不完整的跨模态数据，如图1所示。先前的研究表明，这类数据比传统的完整单模态数据更为复杂[8]。将CIL应用于这种场景，即“不完整跨模态类别增量学习”（ICMCIL），引出了几个关键问题：

• 问题1：
  我们能用现有的CIL方法解决ICMCIL问题吗？
• 问题2：
  如果不能，ICMCIL面临的关键挑战是什么？
• 问题3：
  如何设计有效的ICMCIL方法？

为了解答这些问题，我们通过无人机收集可见光和热成像数据，并结合现有的跨模态数据集，构建了一个实际的ICMCIL基准测试。首先，我们使用常见的分类模型在可见光、热成像和融合模态中进行实验，观察每种模态的遗忘趋势。然后，为了探讨现有CIL方法是否适用于ICMCIL（问题1），我们在模型中引入了防止遗忘的策略。实证发现，遗忘程度可以略微减轻，但与实证上限的差距仍然很大，这表明仅使用现有CIL方法无法解决ICMCIL问题。随后，我们通过补充部分跨模态数据来探索缺失信息对ICMCIL的影响及遗忘程度（问题2）。实证发现，不完整模态的缺失数据和每种模态的遗忘程度使得ICMCIL更加具有挑战性。受这些挑战的启发，我们设计了一个统一的ICMCIL框架（问题3），该框架包括三个部分：补全、融合和防止遗忘。补全模块旨在通过生成缺失的组件来减轻缺失数据对增量学习的影响；融合模块通过全面整合不同模态的信息来应对不同程度的遗忘；最后，防止遗忘模块旨在规范模型，帮助其保留先前获得的知识。

基于所提出的框架，我们引入了“通过补全实现混合融合”（HFC）来全面融合跨模态信息，使旧类别和新类别都能保持独特的特征和清晰的边界，从而减轻遗忘。为了充分利用跨模态线索，我们首先通过补全缺失的模态，然后实现分组特征之间的信息流动。具体来说，我们为ICMCIL设计了一种新的信息交换机制，通过重新排列特征组和通道序列来实现这一点。最后，我们结合融合和防止遗忘策略来缓解灾难性遗忘。在具有不同缺失率的不完整跨模态数据集上的大量实验证明了HFC的有效性。主要贡献总结如下：

• 我们提出了一个基于实际需求的实用任务——不完整跨模态类别增量学习（ICMCIL），并建立了相应的基准测试。
• 我们对ICMCIL进行了全面分析，识别并总结了其区别于现有任务的关键挑战（如模态遗忘），并提出了一个统一的框架来应对这些挑战。
• 我们设计了一个新的ICMCIL基线方法——“通过补全实现混合融合”（HFC），以实现有效的跨模态融合和鲁棒的表示。HFC将补全、融合和防止遗忘整合到一个统一框架中，大量实验验证了其有效性。

相关工作

相关研究

不完整跨模态学习。这一范式旨在处理不完整多模态数据的下游任务，大致可以分为两类：（1）数据插补方法，用于重建缺失的模态或视图。例如，张等人[8]在跨部分多视图网络中使用对抗策略来插补缺失的视图，而冯等人[9]引入了一种基于泊松的张量补全方法，并采用无参数正则化来捕捉低秩和平滑数据

探索不完整跨模态中的CIL

面对ICMCIL，一个直观的问题是现有的CIL方法是否能够解决它。与CIL不同，我们希望明确ICMCIL的关键挑战以及如何设计模型来应对这些挑战。在本节中，我们首先介绍ICMCIL基准测试，然后通过讨论三个问题来探讨如何在不完整跨模态中解决CIL并克服灾难性遗忘。

ICMCIL中的不完整跨模态融合

我们的目标是在ICMCIL中实现有效的表示增强和学习空间分离，从而减轻由模态遗忘引起的灾难性遗忘。受先前工作[23]、[28]的启发，我们提出了“通过补全实现混合融合”（HFC）这一ICMCIL框架，其公式如方程（2）所示，并在图4中进行了说明。HFC包括模态补全模块、跨模态融合模块和防止遗忘机制，这三个模块共同优化以实现一个共同目标：

实验

在本节中，我们使用最近的方法在两个ICMCIL数据集上评估了HFC的效果，这些方法采用了多种融合策略。所有基线都在ICMCIL设置下使用官方代码进行了重现。实验使用PyTorch 1.8.1在NVIDIA 3090 GPU上进行。对于LasHeR-CIL，我们将基础/新类别的学习率和周期分别设置为0.05/0.05和1000/500，通道混合分为8组。对于VTDV-CIL，学习率和周期分别为0.1/0.1和1000/300，分为4组。所有结果均

结论

HFC为不完整跨模态数据下的ICMCIL提供了实用的解决方案，其中缺失的模态和持续的类别扩展共同塑造了学习动态。我们确定了由模态竞争驱动的模态遗忘是导致类别级遗忘的重要因素，这补充了由表示漂移引起的传统灾难性遗忘。模态遗忘并不等同于类别级的灾难性遗忘，但两者之间存在相互作用。

CRediT作者贡献声明

姚新杰：撰写——审阅与编辑、原始草稿撰写、软件开发、方法论构建、概念化。 毕彦贤：可视化处理、软件开发、调查研究、概念化。 王宇：撰写——审阅与编辑、监督指导、资金获取、概念化。 朱鹏飞：撰写——审阅与编辑、监督指导、资金获取。 赵瑞普：撰写——审阅与编辑。 李伟豪：撰写——审阅与编辑、可视化处理。 林婉瑜：撰写——审阅与编辑。 李凯：撰写——

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本工作部分得到了国家自然科学基金（项目编号：62436002、62476195、U23B2049、62266035）的支持，部分得到了天津市杰出青年科学基金（项目编号：23JCJQJC00270）的支持，部分得到了天津市青年科技人才项目（项目编号：QN20230305）的支持，部分得到了天津市科技计划项目（项目编号：24YDTPJC00150、24JCYBJC00950）的支持，以及浙江省自然科学基金的支持

姚新杰于2018年在中国保定华北电力大学获得信息安全学士学位，2021年在中国石油大学（华东）获得计算机技术硕士学位。他目前在中国天津大学攻读计算机科学与技术博士学位。他还隶属于教育部城市智能与数字治理工程研究中心