基于特征策略性融合的高性能行人重识别：一种部件级方法

《AI》：Strategic Feature Integration for Superior Person Re-ID: A Part-Based Approach

　　

行人重识别（Person Re-ID)是监控与安全领域中的关键技术。传统的图像处理方法由于全局特征表示对遮挡敏感且判别能力有限，难以准确识别个体。为应对这些挑战，本研究提出了一种面向行人重识别的深度学习架构，称为动态部件融合(Dynamic Part-Based Fusion, DPBF)，该架构在一个统一的流水线中集成了显著部件判别(Salient Part Discrimination, SPD)模块与自适应特征整合和上下文融合(Adaptive Feature Integration and Contextual Fusion, AFICF)框架。SPD模块通过由人体解析信息引导的注意力机制部件化策略，强调判别性身体区域以增强表示学习。AFICF组件执行局部化部件级特征与全局上下文特征的相关性感知整合，减少冗余并提升判别性特征表示。所提出的框架在一个统一流水线中协调部件级特征提取与关联性感知整合，以提高遮挡和外观变化条件下的鲁棒性。额外分析表明，该框架在独立训练运行中保持稳定性能，具有竞争性的计算复杂度，并通过自适应局部-全局特征整合在严重遮挡条件下表现出鲁棒性。该方法在多个行人重识别数据集上进行了评估，包括Occluded-ReID、Market-1501、DukeMTMC-ReID、Occluded-Duke、P-DukeMTMC-ReID和CUHK03-Labeled。实验结果表明，与现有方法相比具有竞争性性能，而额外的可重复性、计算复杂度和遮挡稳定性分析进一步验证了所提出框架的鲁棒性和实际适用性。具体而言，DPBF在Occluded-ReID数据集上相对于最近竞争方法实现了Rank-1准确率10.6%的提升和平均精度均值(mean Average Precision, mAP)16%的改善。

该研究聚焦于行人重识别(Person Re-ID)领域，旨在解决监控场景中因人体外观、服装、姿态变化及遮挡等因素导致的个体识别难题。尽管该领域已取得显著进展，但提升系统在复杂场景下的鲁棒性和泛化能力仍是核心挑战。现有部件级方法如部件卷积基线(Part-Based Convolutional Baseline, PCB)存在部件定位不准确、部件内一致性不足的问题；协调注意力网络(Harmonious Attention Convolutional Neural Network, HA-CNN)虽利用空间注意力，但未显式建模人体部件；姿态驱动深度卷积(Pose-Driven Deep Convolutional, PDC)模型依赖额外姿态数据增加了复杂度。为此，研究人员提出了动态部件融合(DPBF)框架，其核心贡献并非引入全新的独立组件，而是将解析引导的显著部件判别(SPD)、跨部件空间调制、关联感知特征整合及混合监督协调集成于统一流水线中，以提升遮挡场景下的判别性特征学习能力。

本研究所用关键技术方法包括：以ResNet-50和HRNet-w32为骨干网络进行特征提取；采用自校正人体解析(Self-Correction for Human Parsing, SCHP)模型生成弱监督人体解析标签；SPD模块基于Grad-CAM策略生成部件级注意力图，并通过跨部件空间特征调制图(Cross-Part Spatial Feature Modulation Map, CP-SFMM)增强部件表示；AFICF模块利用皮尔逊相关系数(Pearson Correlation Coefficient, PCC)和主成分分析(Principal Component Analysis, PCA)进行相关性感知的局部-全局特征自适应融合；采用混合损失函数(Hybrid Loss Function, HLF)联合优化全局身份判别和部件级特征可分离性。样本队列来源于上述六个公共数据集的标注图像。

研究结果表明：

**设显著部件判别模块**
SPD模块通过部件注意力机制(Part Attention Mechanism, PAM)为预定义的身体部件生成注意力图。首先，基于Grad-CAM的策略初始化与语义一致身体区域对齐的注意力图，通过1×1卷积神经网络(Convolutional Neural Network, CNN)层转换输入特征图，经全局平均池化(Global Average Pooling, GAP)和全连接层生成注意力权重，再通过softmax函数生成空间注意力图。其次，利用SCHP框架细化分割，通过迭代校正网络优化解析标签准确性，生成精细化的部件级注意力图，从而增强遮挡条件下的身份保持判别能力。

**跨部件空间特征调制图**
CP-SFMM通过元素级乘法(Element-Wise Multiplication, E-WM)将注意力图与原始特征图相乘，计算部件特定特征图，再将通道维度拼接为统一表示，以增强不同语境下身体部件表示的区分性，尤其应对遮挡场景。

**自适应特征整合和上下文融合**
AFICF针对直接拼接局部和全局特征易引入冗余信息的问题，采用PCC评估特征互补性和冗余度，保留高信息量特征并消除冗余组；进而应用PCA降维生成紧凑的512维特征表示，在融合前自适应校准局部-全局身体部件线索与整体上下文嵌入的交互，提升遮挡条件下的上下文特征一致性。

**混合损失函数**
HLF联合交叉熵损失和三元组损失，前者优化全局身份级特征判别，后者强调部件级判别使同身份语义一致身体部件聚类、跨身份分离。两者等权重加权，确保全局和局部特征联合优化、互补对齐，为AFICF有效消除冗余和捕获互补信息奠定基础。

在整体数据集上，DPBF在Market-1501实现R-1提升0.3%、DukeMTMC-ReID提升1.0%；在CUHK03-Labeled数据集优势更为显著，R-1领先最近竞争者4.8%、mAP领先1.6%。在遮挡数据集上，DPBF在Occluded-ReID实现R-1提升10.6%、mAP提升16%；在P-DukeMTMC-ReID实现R-1提升0.6、mAP提升0.4。部件嵌入分析表明，p0嵌入（整合互补语义身体区域信息）性能最强，而上身区域因可见性高、判别线索密集而贡献大于下身区域；p7在遮挡基准中表现最弱，R-1差距达66.6%-90.2%，mAP差距达55.4%-80.3%。特征整合策略评估显示，包含完整HLF、PCC和PCA的配置性能最优，逐步移除组件导致性能下降。消融研究表明，DPBF在不同部件配置下均优于PCB基线，监督与半监督策略优于纯无监督策略。可视化分析证实，模型在部分遮挡下仍保持可见判别区域的强激活响应，但严重遮挡和下身信息缺失导致特征可靠性显著降低。计算效率方面，DPBF在单张NVIDIA GeForce RTX 4090上较双NVIDIA TITAN Xp配置效率大幅提升，保持竞争性处理效率和可接受的内存消耗；独立训练运行表现出稳定的R-1和mAP性能，验证了可重复性和鲁棒性。

讨论部分指出，DPBF通过SPD和AFICF的协调集成，实现了局部身体区域表示与全局上下文信息的互补交互，有效提升了遮挡和外观变化下的判别能力。然而，极端遮挡和低分辨率条件下仍存在性能退化，特别是下身区域因遮挡、姿态变化和视觉信息缺失而严重退化。未来工作将探索更稳定的解析策略、自适应部件加权机制和遮挡感知特征重构，以及基于Transformer的全局-局部交互机制，以进一步提升严重部分可见性下的鲁棒性，同时保持计算效率。

研究结论如下：所提出的DPBF框架展示了改进的人体外观变化建模能力，有效增强了遮挡、姿态变化和光照变化等挑战下的鲁棒性。表1和表2证明了DPBF在整体和遮挡导向基准上的有效性，图5进一步展示了挑战性可见条件下各身体部件嵌入的鲁棒性和相对贡献。通过超越依赖全局特征表示的传统方法，DPBF采用SPD和AFICF的协调集成，实现了局部身体区域表示与全局上下文信息的互补交互。其AFICF模块有效融合部件级特征与全局上下文，增强了特征互补性并减少了传统特征融合方法的局限性。尽管DPBF在行人重识别领域表现出强劲性能，但仍识别出若干需进一步改进的领域，包括极端遮挡和低分辨率条件下的性能退化（如图5和图6b所示，并由表8报告的嵌入退化分析定量确认）。额外的可重复性、计算效率和遮挡稳定性分析进一步证明了所提出DPBF框架的鲁棒性，显示了独立训练运行中的稳定性能、竞争性的计算复杂度和评估效率，以及通过自适应局部-全局特征整合有效缓解严重遮挡影响的能力。未来工作将研究更稳定的解析策略和自适应特征处理机制，以在保持计算效率的同时，提高严重遮挡、低分辨率条件和视觉相似外观下的判别能力。特别是，旨在研究自适应部件加权机制和遮挡感知特征精化，以增强模型从部分遮挡或因相机限制而截断的下身区域提取有意义信息的能力。