《Cortex》:Post-Saccadic Disruption of Semantic Category Information in Naturalistic Scenes
编辑推荐:
在自然视觉过程中,人们通过眼跳高效采样复杂场景中的视觉信息。尽管大量证据表明,在眼跳发生前后视觉信息加工会受损,但眼跳如何影响高层级视觉属性——例如对动态环境导航及复杂行为目标至关重要的语义类别信息——的加工,仍不明确。为此,研究人员考察了自然场景中的语义类别
在自然视觉过程中,人们通过眼跳高效采样复杂场景中的视觉信息。尽管大量证据表明,在眼跳发生前后视觉信息加工会受损,但眼跳如何影响高层级视觉属性——例如对动态环境导航及复杂行为目标至关重要的语义类别信息——的加工,仍不明确。为此,研究人员考察了自然场景中的语义类别信息加工是否以及如何在眼跳结束后即刻发生改变。通过人类行为学与神经影像学研究,比较了在眼跳之后不同时间点呈现场景图像时的语义类别判断(实验1A,N=21;实验1B,N=18)以及神经表征(实验2,N=17)。在行为实验中,研究发现,当场景图像在眼跳完成后50 ms内呈现时,场景分类准确率显著下降。在神经影像实验中,研究人员在没有显式分类任务的条件下,利用功能性磁共振成像(fMRI)多体素模式分析(MVPA)考察语义类别信息的神经相关物。结果发现,相较于较长的眼跳后延迟(400–600 ms),在较短的眼跳后延迟(0–100 ms)条件下呈现的图像,其海马旁地点区(PPA)神经活动模式中所包含的场景类别表征发生退化,尽管总体激活水平并未相应下降。综上,这些发现表明,眼跳后的干扰不仅影响基本视觉特征,而且会扩展至自然场景的高层级视觉属性,突显了在执行下一次眼跳之前的短暂眼跳后时期内视觉信息加工所存在的局限。
该文发表于《Cortex》,聚焦自然视觉中的一个关键但长期研究不足的问题:眼跳(saccade)之后极短时间窗内,高层级场景语义信息是否会像低层视觉特征那样受到干扰。既有研究已较充分表明,眼跳前后会出现眼跳性抑制、空间压缩、视网膜位移以及重映射(remapping)不完全等现象,从而损害低层视觉加工与知觉稳定性。然而,复杂自然场景并非由单一低层特征构成,其语义类别、可通行性与行为可供性等高层属性对于现实环境中的识别、导航与决策至关重要。尤其是场景语义类别信息具有多重冗余线索来源,可能来自基本视觉属性、空间布局以及整体概貌(gist),因此其在眼跳后究竟会被破坏,还是表现出相对稳健性,成为一个重要理论问题。研究人员据此开展本研究,以明确眼跳后干扰是否会由低层视觉延伸至高层场景语义表征,并进一步检验这种影响在行为与神经层面是否一致。
为回答上述问题,研究人员结合凝视依赖(gaze-contingent)眼动追踪、行为测量与功能性磁共振成像(fMRI)开展系列实验。行为部分包括实验1A与实验1B,分别比较不同眼跳后延迟条件下的场景语义分类准确率,其中实验1B进一步细化了时间梯度。神经影像部分为实验2,采用fMRI结合多体素模式分析(MVPA),在非显式分类任务条件下检测场景选择性脑区内语义类别表征的可分辨性。研究重点放在海马旁地点区(PPA,参与场景识别与语义场景内容加工),并对场景图像进行低空间频率(LSF)或高空间频率(HSF)滤波处理,以考察空间频率是否调节眼跳后语义加工。研究结论表明:眼跳结束后短暂时间内,自然场景的语义类别加工确实受损;这种损害不仅体现在行为分类准确率下降,也表现为PPA内场景类别神经表征的区分性降低,而总体激活强度并未同步下降。该结果的重要意义在于,它将眼跳后知觉局限从低层特征扩展到高层场景语义层面,说明视觉系统在连续眼动采样自然环境时,存在一个短暂但功能上重要的信息脆弱期。
方法上,研究主要采用三类关键技术。其一,使用凝视依赖眼动追踪精确控制场景刺激在眼跳完成后的呈现时机,以构建不同眼跳后延迟条件。其二,在行为实验中要求被试对场景图像进行显式语义类别判断,比较不同延迟与不同空间频率条件下的分类表现;实验1A样本量为N=21,实验1B为N=18,后者进行了预注册。其三,在神经影像实验中,对N=17名被试进行fMRI扫描,并在非分类任务背景下使用多体素模式分析(MVPA)评估PPA中场景类别信息的神经表征区分度,同时比较短延迟与长延迟条件,并区分总体激活与表征质量。
以下依据论文主体内容,对结果部分按原有结构进行浓缩解读。
Experiment 1: Behavioral study
该部分通过两个行为实验评估眼跳后不同时间点的场景语义分类表现。研究设计的核心是让场景图像在眼跳结束后不同延迟呈现,以直接测量短暂眼跳后窗口中的语义加工能力。实验同时操纵图像的空间频率内容,以检验低空间频率与高空间频率线索在眼跳后是否存在不同脆弱性。
Experiment 1: Behavioral Categorization Performance
实验1A比较了5 ms与500 ms两种眼跳后延迟,并同时比较HSF与LSF条件。结果显示,无论HSF还是LSF,分类准确率均高于机会水平,说明被试总体能够完成场景语义分类任务。但重复测量方差分析表明,眼跳后延迟存在显著主效应:5 ms条件下的分类准确率低于500 ms条件。这一结果直接表明,眼跳刚结束后的极短时间段内,场景语义类别提取能力显著减弱。
实验1B进一步将延迟条件细化为5、16、50、128和500 ms,从而更精确地刻画时间进程。论文摘要与讨论明确指出,准确率下降主要出现在眼跳结束后50 ms以内,说明这种语义加工损害并非持续性广泛缺陷,而是局限于很短的眼跳后时间窗。该结果将行为层面的效应时间范围收敛到<50 ms,支持眼跳后存在一个短暂的高层视觉加工脆弱期。与此同时,研究设置了LSF与HSF图像条件,以考察粗到细(Coarse-to-Fine, CtF)模型相关预测;从摘要与现有正文片段可确认,论文重点结论并非空间频率导致的选择性破坏,而是整体语义分类在短延迟下受损。
Experiment 2
神经影像实验旨在确定行为学损害是否对应于场景语义表征的神经退化。为避免显式分类任务引入额外决策或反应成分,研究人员在非分类任务条件下采集fMRI数据,并聚焦场景选择性皮层区域,尤其是PPA。该实验的关键逻辑是:如果眼跳后短时间内语义场景内容的神经编码受损,那么即使总体BOLD信号幅度不下降,PPA内不同场景类别之间的多体素活动模式也应当变得更难区分。
Neural representations
基于fMRI多体素模式分析(MVPA),研究发现,相比长眼跳后延迟(400–600 ms)条件,短眼跳后延迟(0–100 ms)条件下呈现的图像在PPA中诱发的场景类别表征更弱,即神经活动模式中所嵌入的语义类别信息发生退化。这一发现非常关键,因为它说明眼跳后效应并不只是影响可见度或整体唤醒水平,而是影响到高层表征内容本身的可分辨性。换言之,场景语义类别并非仅在行为输出阶段出现问题,而是在神经编码层面就已受到破坏。
Overall activation levels
论文摘要特别指出,虽然PPA中的场景类别表征在短延迟条件下减弱,但总体激活水平并未出现对应下降。这意味着传统单变量激活分析若仅关注平均响应强度,可能无法揭示眼跳后高层语义加工受损的本质。真正受影响的是表征结构与模式区分度,而不是脑区是否被“激活”。这一结果支持采用MVPA来识别高层视觉表征精细变化的必要性,也进一步表明眼跳后干扰主要表现为信息表征质量下降,而非简单的神经反应减弱。
General Discussion
讨论部分综合行为与神经影像结果,提出核心结论:眼跳后的视觉加工限制不仅涉及基本视觉特征,也会延伸至自然场景的语义类别信息。行为学上,最短眼跳后延迟条件导致场景分类准确率下降;神经影像上,PPA中的场景类别表征在短眼跳后延迟时退化。两类证据共同指向同一结论,即在下一次眼跳即将执行之前的短暂时间窗内,视觉系统对自然场景高层意义的提取能力并不稳定。论文同时强调,这种损害发生于自然视觉情境中具有重要现实意义,因为人在观看复杂环境时每秒会发出多次眼跳,因而这种短暂脆弱期可能频繁出现,并影响场景识别与环境适应。
从理论层面看,该研究的重要贡献在于将眼跳相关知觉研究从低层刺激属性扩展到高层场景语义,并将行为表现与PPA中的神经表征联系起来。既往关于眼跳性抑制、知觉压缩与重映射误差的研究,主要集中于亮度、对比度、局部特征或空间定位等层面;本研究则证明,复杂自然场景中的语义类别信息也会在眼跳后短时间内出现可测量的损伤。这说明视觉系统虽可通过多重线索加工场景意义,但这种冗余并不足以完全抵御眼跳后瞬时干扰。
研究结论部分可译为:总之,本研究表明,眼跳后的破坏性影响超出了基本视觉特征范畴,进一步扩展至自然场景的高层视觉属性。场景图像在眼跳完成后短暂时间窗内呈现时,行为上的语义分类准确率下降,且海马旁地点区(PPA)中语义场景类别信息的神经表征区分性减弱,而总体激活水平不一定下降。这些结果突显出,在执行下一次眼跳之前的短暂眼跳后阶段,视觉信息加工存在重要限制。