Reperio-rPPG：用于远程生理测量中周期性学习的关联时序图神经网络

《Journal of Visual Communication and Image Representation》：Reperio-rPPG: Relational temporal graph neural networks for periodicity learning in remote physiological measurement

远程光电容积描记（rPPG）技术通过面部视频捕捉血氧变化，实现非接触式心率监测。本文提出Reperio-rPPG框架，集成关系卷积网络与图Transformer以建模生理信号周期性，结合改进CutMix增强泛化性，在PURE、UBFC-rPPG、MMPD三组数据集上验证其优于现有方法，尤其适应复杂光照和运动干扰。

　　

Ba-Thinh Nguyen|Thach-Ha Ngoc Pham|Hoang-Long Duc Nguyen|Thi-Duyen Ngo|Thanh-Ha Le

越南国立大学工程技术学院，河内，越南

摘要

远程光电容积描记法（rPPG）是一种新兴的非接触式生理传感技术，它利用面部视频中的细微颜色变化来估计心率、呼吸率等生命体征。这种非侵入性方法在远程医疗、情感计算、驾驶员疲劳检测和健康监测等多个领域得到了广泛应用，这得益于其可扩展性和便利性。尽管在远程生理信号测量方面取得了显著进展，但一个关键特征——内在的周期性——在以往的方法中往往被忽视或建模不足，限制了其在实际条件下的精细时间动态捕捉能力。为了解决这一问题，我们提出了Reperio-rPPG框架，该框架策略性地结合了关系卷积网络（Relational Convolutional Networks）和图变换器（Graph Transformer），以有效捕捉生理信号中的周期性结构。此外，鉴于现有rPPG数据集的多样性有限，我们引入了定制的CutMix数据增强技术来提升模型的泛化能力。在三个广泛使用的基准数据集（PURE、UBFC-rPPG和MMPD）上进行的广泛实验表明，Reperio-rPPG不仅实现了最先进的性能，而且在各种运动（如静止、旋转、说话、行走）和光照条件（如自然光、低亮度LED灯、高亮度LED灯）下也表现出出色的鲁棒性。代码可在以下链接公开获取：https://github.com/deconasser/Reperio-rPPG。

引言

心率（HR）是一种重要的生理信号，可以指示身体健康的多种状态。传统的心率监测技术，如心电图（ECG）和光电容积描记法（PPG）[1] [2]，通常使用接触式电极或可穿戴设备附着在皮肤上来检测这一信号。这些方法虽然准确度高，但在长时间使用或对于皮肤敏感、有烧伤或过敏情况的人使用时可能会带来不便。最近，通过rPPG进行非接触式心率测量受到了关注[3] [4] [5]，该方法利用RGB相机捕捉的面部视频来提取由血容量变化引起的细微皮肤颜色变化。这种方法克服了接触式方法的局限性，使得在远程医疗、驾驶员监控或健身等领域有广泛的应用[6] [7] [8]。尽管非接触式方法具有潜力，但它们仍然容易受到光照条件、肤色变化和受试者运动等因素的影响。尽管信号处理和计算机视觉技术的进步缓解了其中的一些问题，但在实际环境中实现稳定和准确的表现仍然是一个未解决的挑战，需要进一步的研究和创新。

早期的非接触式心率估计方法依赖于传统的信号处理技术，如盲源分离[9] [10] [11]和颜色空间变换模型[12] [13]，这些方法通过分析面部视频中的细微颜色变化来提取生理信号。随着深度学习的快速发展，特别是计算机视觉领域，基于CNN的方法[14] [15]因能够直接从原始视频数据中学习到具有代表性的时空特征而受到广泛关注。最近，基于Transformer的架构[16] [17]也被引入到这一领域，利用自注意力机制进一步增强了远程生理信号估计中的时间动态建模。

最新的rPPG模型能够提取有意义的时空特征来估计心率信号。然而，许多方法将血容量脉动（BVP）视为一种通用的时间信号，而没有充分利用其基本特征——准周期性[18] [19]。由于心跳是周期性的，BVP在每个周期内（周期内）和连续周期之间（周期间）都表现出结构化的模式，这对于准确估计至关重要。为了近似这种行为，先前的研究引入了基于位移的方法[20] [21]、基于注意力的架构[15] [22]和频率感知设计[17] [23]。尽管有这些进步，现有方法仍然难以捕捉生理信号的固有规律性和相位一致性，未能充分利用跨周期模式，而这些模式对于建模真正的周期性至关重要。

为了解决这些问题，我们采用基于图的视角来进行时间建模。我们将帧视为节点，并用边连接它们，这些边编码了它们随时间和相位的变化方式。这使得模型能够适应各种关系，而不是依赖于固定的位移，从而捕捉到局部和全局结构，并聚合长距离的、相位一致的上下文。图非常适合学习时间数据中的隐藏关系，因此特别适合rPPG任务。然而，针对rPPG中的周期性的显式图模型仍然研究不足。为此，我们提出了Reperio-rPPG框架，可以直接建模心率的周期性。总结来说，我们的方法具有以下关键贡献：

1. 我们提出了一种新颖的架构，结合了Swin Transformer进行稳健的空间特征提取，以及关系图卷积网络（R-GCN）和图变换器（Graph Transformer），专门用于捕捉rPPG信号的周期性特征和时间依赖性。

2. 我们引入了一种有效的数据增强策略，结合了时间CutMix（TCM）、归一化差异帧（NDF）和多尺度平面正交于皮肤（MPOS），显著提高了rPPG模型的鲁棒性和泛化能力。

3. 我们在三个基准数据集（PURE、UBFC-rPPG和MMPD）上进行了广泛的实验，证明了我们提出的方法在受控实验室条件和具有多样光照变化、受试者运动和复杂背景的具有挑战性的实际场景中始终显著优于最先进的方法。

部分片段

远程生理测量

rPPG的早期发展主要依赖于传统的信号处理技术，这些技术可以分为盲源分离方法和基于皮肤反射率的模型。前者[9] [10] [11]将面部视频信号分解为基本成分以分离心脉，而后者[12] [13]通过将信号转换为来自皮肤反射率模型的特定颜色空间来增强血流信号。这些传统方法在计算上

方法

如图1所示，所提出的Reperio-rPPG框架由四个关键组成部分构成。首先，输入处理模块对原始视频帧进行预处理，为后续分析做好准备，具体细节见第3.1节。接下来，空间建模模块捕捉对生理信号提取至关重要的空间特征（第3.2节）。然后，时间建模模块学习帧序列之间的时间依赖性（第3.3节）。最后，预测头部分生成rPPG信号

数据集

我们使用三个广泛使用的数据集来评估我们的方法：PURE [49]、UBFC-rPPG [50]和MMPD [51]。

PURE：PURE数据集[49]是一个高质量的rPPG基准数据集，包含10名受试者（8名男性，2名女性），他们执行六种受控头部动作（静止坐着、说话、缓慢头部移动、快速头部移动、小幅度头部旋转和中等幅度头部旋转）。这些多样化的活动模拟了实际场景，使研究人员能够评估运动如何影响rPPG信号的准确性

消融研究

本节介绍了消融研究，系统地评估了Reperio-rPPG框架中每个模块的贡献。

讨论

如表8所示，Reperio-rPPG的吞吐量为1.42 Kfps，足以满足实时视频监控的需求。尽管它不是比较中最快的方法，但在具有挑战性的MMPD基准测试中获得了最佳的MAE（平均绝对误差），同时保持了竞争力的运行效率。特别是与EfficientPhys [56]相比，所提出的模型在估计精度上获得了显著提升。这些结果表明Reperio-rPPG提供了有利的

结论

在这项工作中，我们提出了Reperio-rPPG，这是一种用于远程生理信号估计的新框架，它明确地建模了生理信号的内在周期性。通过将R-GCN与图变换器相结合，所提出的方法有效地捕捉了局部时间依赖性和长距离的周期性交互，从而实现了更可靠的生理特征表示学习。我们进一步引入了TCM来提高数据多样性并增强泛化能力。广泛的

CRediT作者贡献声明

Ba-Thinh Nguyen：撰写——原始草稿、可视化、验证、软件开发、方法论、调查、形式分析、概念化。Thach-Ha Ngoc Pham：撰写——原始草稿、数据整理。Hoang-Long Duc Nguyen：撰写——审稿与编辑。Thi-Duyen Ngo：撰写——审稿与编辑、监督。Thanh-Ha Le：项目管理、概念化、撰写——审稿与编辑、监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。