类别不可知的对象重新识别

《Pattern Recognition》：Category-agnostic object re-identification

　　王立凯|韩瑞泽|焦炳良|冯伟
天津大学智能与计算学院，天津，300354，中国

**摘要**
对象重识别是模式识别中的一个基本任务，长期以来一直受到查询对象与样本库中对象类别对齐的限制。为了打破这一限制，我们提出了全新的类别无关对象重识别（CA-ReID）任务，该任务能够从包含多种类别的样本库中检索任意对象（包括训练期间未见过的新型类别）的身份信息。为了解决该任务中涉及的联合类别间区分和类别内识别的双重粒度挑战，我们借鉴了人类认知系统的原理，其中粗粒度分类和细粒度识别共享相同的神经基础。具体而言，我们提出了一个统一的框架来分离与类别相关和与身份相关的特征。对于每个单一粒度的特征学习，我们采用了经典的交叉熵损失和三元组损失，以及基于视觉词汇表（VLM）的视觉-语义对齐损失，并引入了负学习损失以实现身份感知和类别感知的特征学习。此外，我们还提出了一种新的跨粒度校正损失，以促进双重粒度特征之间的信息交互。针对这一新问题，我们构建了一个大规模的基准数据集CA-ReIDB，实验结果表明所提出的框架优于现有的最先进方法，证明了其作为实际应用中ReID系统基础步骤的可行性。

**引言**
对象重识别（ReID）长期以来一直是模式识别领域的一个经典基础问题，但现有研究仍受到特定类别假设的严重限制。这些方法主要集中在人物重识别上，要求样本库中仅包含与查询对象相同类别的样本（裁剪后的实例块）。然而，这种范式无法模拟现实世界中的场景，即在包含多种对象类别的大型数据库中重识别一个与类别无关的目标。为了填补这一空白，我们在本工作中提出了全新的类别无关对象重识别（CA-ReID）任务。如图1所示，给定一个与类别无关的查询块和一个包含不同类别对象的样本库，CA-ReID的目标是从样本库中检索与查询对象具有相同身份的目标。此外，为了更贴近实际应用，所提出的CA-ReID明确支持训练期间见过的基本类别和未见过的新型类别。CA-ReID的实用性在智能监控等场景中尤为明显，例如在从录像图像/视频中重识别给定对象时，我们无法保证这些图像/视频仅包含与查询对象相同类别的对象。因此，我们认为CA-ReID的提出将推动ReID任务向实际应用迈出重要一步。

虽然CA-ReID在表面上与对象检索任务类似，但其目标完全不同。对象检索仅旨在找到与查询对象具有相同类别的对象，而CA-ReID则旨在从包含多种类别的样本库中找到身份一致的目标。此外，CA-ReID也与传统的ReID设置不同，在传统设置中，查询对象和样本库中所有对象的类别必须完全相同且具体。最近，人们探索了多类别通用ReID方法，但它仍无法充分处理混合类别样本库的问题。从概念上讲，CA-ReID可以被视为一个两级的一阶段检索目标，即在统一的检索设置下同时要求类别级别的区分和实例级别的匹配。

作为一个与以往任务完全不同的实际问题，CA-ReID带来了独特的挑战：它不仅需要判断查询对象和样本库中对象的类别是否一致，还需要检索与查询对象具有相同身份的样本库对象。这个耦合问题要求CA-ReID同时处理两个子任务：类别间区分（分类）和类别内区分（重识别）。一个单独训练的嵌入模型难以同时满足这两个目标，因为类别主导的线索可能会掩盖实例级别的线索（反之亦然），从而导致检索效果下降。一种直接的解决方案是分别训练分类模型和ReID模型，但这会导致过程繁琐且复杂度较高。这一观点也可以通过人类认知系统得到验证：下游神经元可以使用相同的神经细胞执行传统上被认为是不同的任务（例如分类与识别）。受此启发，我们提出了一个统一的框架来解决这个问题。我们还发现，根据认知心理学的研究，人类通过双重粒度机制处理视觉信息：先进行粗粒度分类，再进行细粒度身份确认。基于这一机制，我们提出了一个通用的ReID框架，通过整合上述生物学启发的层次结构，在复杂场景中同时实现类别和身份的检索。给定一张输入图像，我们首先提取视觉特征，并通过二进制掩码驱动的特征选择策略将它们分为与类别相关的特征和与身份相关的特征。对于类别和身份分类器的学习，我们使用了经典的交叉熵损失、三元组损失和基于VLM的视觉-语义对齐损失。然而，标准损失不可避免地会将身份噪声编码到与类别相关的特征中。为了解决这个问题，我们引入了负学习损失来在提取与类别相关的特征时明确抑制身份信号。此外，为了实现双重粒度特征之间的信息交互，我们提出了跨粒度校正损失来惩罚矛盾的预测并强制预测的一致性。同时，我们建立了一个大规模的基准数据集CA-ReIDB，为推进这一新任务提供了必要的基础。

**主要贡献**
- 这是首次研究类别无关对象重识别（CA-ReID）的工作，它消除了类别对齐的限制，有望使传统的ReID问题更具实用性。
- 我们开发了一个新的双重粒度框架，模仿人类认知系统，将类别分类器和身份分类器集成到一个统一的网络中。通过各自的学习和相互作用，所提出的方法具备了类别间区分（分类）和类别内区分（重识别）的能力。
- 我们通过建立新的数据集CA-ReIDB对CA-ReID问题进行了基准测试，并通过实验验证了所提方法的有效性。我们将公开发布该基准数据和代码，以促进这一新兴且实用课题的研究。

**章节片段**
多年来，由于对象重识别在智能监控系统中的重要应用价值，特别是针对人物[2]、[9]、[10]和车辆[4]的研究非常广泛[11]、[12]、[13]。在人物重识别方面，早期研究主要集中在手工特征或距离度量学习上[2]。随着深度学习的进步，人物重识别方法引入了CNN或Transformer来学习判别性特征，并采用交叉熵和三元组损失进行指导。在本工作中，我们专注于一个实际且具有挑战性的任务——CA-ReID。形式上，训练集可以定义为D={D1,…,Dn,…,DNs}，包含Ns个基本类别。Dn={(xin,yin,zin)}i=1Mn，其中xin表示图像，yin表示相应的身份标签，zin表示类别标签（在Dn内共享），Mn表示训练图像的数量，In表示第n个基本类别中的身份数量。总共有Nt=∑n=1NsIn个训练身份。给定D，即可进行CA-ReID任务。

对于新型的CA-ReID任务，我们通过系统预处理和重新划分，整合了14个公开可用的数据集，创建了一个新的大规模数据集CA-ReIDB，包括MSMT17[40]（人物）、VeRi[41]（车辆）、ELPephants[26]（大象）、iPanda-50[28]（大熊猫）、SeaStarID[42]（海星）、BelugaID[43]（白鲸）、HyenalD[44]（斑鬣狗）、WhaleSharkID[45]（鲸鲨）、PolarBearVidID[46]（北极熊）、SeaTurtleID[47]（海龟）。

**与最先进方法的比较**
为了验证所提出框架的有效性，我们在本节将其与最先进的方法进行了比较。值得注意的是，由于这是一个全新的问题，没有现有方法完全符合其目标。因此，我们比较了四种与该任务最相关的方法，即（1）特定类别的ReID方法，包括CLIP-ReID[25]、TF-ReID[9]、CILP-FGDI[51]和Uni-Prompt[52]。对于这些方法，我们添加了类别分类损失以使其适应新的任务要求。

**结论**
在本工作中，我们提出了一个受认知科学启发的新颖且实用的问题——类别无关对象重识别（CA-ReID），它支持在动态环境中同时进行类别和身份的检索。为了解决这个问题，我们提出了一种双重粒度特征分离机制，通过自适应学习的二进制掩码来进行特征选择。我们还设计了负学习损失，以明确从与类别相关的特征中去除身份特定信息。

**作者贡献声明**
王立凯：撰写——原始草稿、软件实现、方法论、概念化。
韩瑞泽：撰写——原始草稿、方法论、概念化。
焦炳良：撰写——审稿与编辑、验证、数据分析。
冯伟：撰写——审稿与编辑、监督、资源协调。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。

**致谢**
本工作得到了国家自然科学基金（NSFC）（项目编号62572349、62402490）和深圳市基础研究基金（项目编号JCYJ20240813154920027）的支持。