瞳孔与视线动态可追踪自然语言中的情绪内容

《Scientific Reports》：Pupil- and gaze dynamics track emotion content in naturalistic speech

　　

摘要

对语音特征的皮层追踪是连续语音处理领域中一个已被广泛认可的指标，但对于听者对语音节奏的眼动反应，我们了解得还很少。在听觉领域的主动感知模型中，眼动反应起着核心作用，它通过引导运动激活来实现对语音时序的预测以及注意力的分配，而这些过程可能会受到情绪等非节奏性因素的影响。在此，我们探讨了听者的瞳孔反应和眼球运动是否能够追踪语音信号，以及这种追踪在多大程度上会受到与情绪相关的自上而下因素的调控，包括主观情绪评分、心情以及共情特质。在一项验证研究中（N = 100），参与者被动聆听两段TED演讲，并不时对其中的言语片段进行情感倾向（负面–正面）和唤醒程度（低–高）的评分。研究结果表明，这两段演讲中的言语片段在情感倾向和唤醒程度上存在显著差异。在第二项研究中（N = 41），参与者在完成相同任务的同时，其瞳孔大小和眼电图信号也被记录下来。我们利用互信息来量化瞳孔扩张、水平及垂直眼球运动等指标对语音的追踪情况。所有眼动信号都能在较低频率范围内有效追踪语音。高唤醒程度的言语会导致更强的瞳孔追踪反应，但水平和垂直方向的眼电图追踪反应则相对较弱。负面情感倾向的言语则会带来更强的瞳孔和垂直眼球运动追踪反应。语音与情绪之间的相互作用，以及它们与参与者心情的相互作用，进一步影响了这些追踪效应，使得不同眼动指标呈现出不同的变化模式。总体而言，我们的研究结果表明，眼动活动会动态地与自然语音的时序结构相契合，而且这种追踪行为既会受到语音本身驱动的因素影响，也会受到听者自身情绪因素的调控。