基于概率框架的场景-上下文面部情绪识别方法

《IEEE Access》：A Probabilistic Framework for Scene-Context Facial Emotion Recognition

　　

摘要：

结合场景上下文信息可以显著提升面部情感识别的性能。仅使用面部特征的模型可能会识别出与面部表情相符的情感，但无法考虑到主体所处的社会环境。在这项研究中，我们将场景上下文作为显式先验信息纳入到情感识别的双流架构中。上下文流使用MobileNetV2（224×224×3，宽度倍数为1.0）对七种场景进行分类：客户服务、健身、葬礼、办公室、派对、餐厅和商店。一个轻量级的面部模型同时处理面部特征。两种模型的输出通过一个基于置信度的加权步骤进行融合，该步骤优先考虑与检测到的场景相匹配的情感，并减弱不匹配的情感。为了减少连续帧之间的快速变化，在最终融合阶段之前，对两种模型的输出都应用了指数移动平均滤波。我们通过四个指标（PSC、IDC、ISR和VSC）来评估所提出框架的性能，以量化上下文先验对最终预测的影响。在序列测试中，融合后的输出熵值降低，表明在结合上下文信息后，情感概率分布比之前更加集中。正如预期的那样，3D相关性的子矩阵也显示了这一趋势：融合后的情感类别分布更加紧凑，与检测到的场景更加吻合。整个系统使用Python 3编写，并在Jetson Orin和Raspberry Pi硬件上进行了测试，在在线推理过程中保持了超过30 FPS的执行速率。综上所述，这些观察结果表明，依赖于场景的先验有助于减少那些难以根据周围社会环境来解释的情感识别结果。