《Applied Psycholinguistics》：The impact of task demand on subtitle reading in video games: an eye-tracking study
编辑推荐：
尽管先前的研究已确立了人们在非交互式媒体中的阅读方式，但对于在电子游戏等交互式多媒体中的阅读过程知之甚少。在这项探索性眼动追踪研究中，研究人员在游戏过程中创设了两个层级的阅读需求（高 vs. 低）。九十八名参与者被随机分配去玩一款带有英语（L1；低阅读需求）或
尽管先前的研究已确立了人们在非交互式媒体中的阅读方式，但对于在电子游戏等交互式多媒体中的阅读过程知之甚少。在这项探索性眼动追踪研究中，研究人员在游戏过程中创设了两个层级的阅读需求（高 vs. 低）。九十八名参与者被随机分配去玩一款带有英语（L1；低阅读需求）或无法理解的外语（FL；高阅读需求）音轨的电子游戏。在字幕层级，与 L1 组相比，FL 组表现出更高的注视时间百分比、更多的注视点、更高的回视率以及更长的平均注视持续时间。两组在扫视长度上未发现差异。在单词层级，FL 组跳过的单词更少。研究发现阅读需求与单词频率之间存在交互作用，其中 FL 组跳过低频单词（相对于高频单词）的幅度较小。注视持续时间仅显示出显著的单词频率效应。FL 组在单词上的总注视时间更长，且未发现交互作用。这些结果表明，与 L1 组相比，FL 组经历了更大的加工努力，这反映在基于注视的测量指标和回视的增加上。当前研究为交互式多媒体中任务驱动的阅读提供了实证见解。
**研究背景与问题提出**
在过去的几十年中，数字媒体改变了文本的功能和格式，塑造了人们的数字素养。虽然关于传统媒体和非交互式多媒体（如带字幕的视频）中的阅读机制已有大量研究，确立了任务需求（task demand）如何影响阅读策略和理解，但在电子游戏这种高度动态、实时的交互式多媒体环境中，人们如何处理文本仍是一个巨大的研究空白。鉴于全球有数十亿游戏玩家，且游戏在教育、语言学习和认知训练中具有巨大的教学潜力，理解游戏环境下的阅读行为至关重要。现有的理论框架，如双编码理论（Dual-Coding Theory, DCT）、多媒体学习认知理论（Cognitive Theory of Multimedia Learning, CTML）以及“阅读即解决问题”（Reading as Problem Solving, RESOLV）模型，均指出阅读行为受上下文和任务需求的调节。然而，缺乏针对交互式环境中任务需求如何具体调节字幕阅读的实证数据。因此，本研究旨在通过操纵游戏音轨的可理解性来创设不同层级的阅读需求，从而探讨任务需求对电子游戏字幕阅读的影响，同时保持游戏的生态效度。
**研究内容、结论与意义**
研究人员开展了一项探索性眼动追踪研究，招募了 98 名母语为英语的参与者，让他们游玩商业游戏《底特律：变人》（Detroit: Become Human）的第一章。参与者被随机分为两组：一组收听英语音轨（L1，低阅读需求），另一组收听不懂的波兰语音轨（FL，高阅读需求），所有游戏内文本均为英语。研究通过分析字幕层级和单词层级的眼动指标，考察不同阅读需求下的加工差异。研究得出结论：在高阅读需求（FL 组）下，参与者表现出更大的加工努力，具体体现为更多的注视点、更长的注视时间、更高的回视率以及更少的单词跳过行为，但这种需求并未显著改变扫视长度等空间控制指标。此外，研究发现了阅读需求与单词频率在单词跳过行为上的交互作用，表明高需求降低了副中央凹加工的效率。该研究发表在《Applied Psycholinguistics》上，其重要意义在于填补了交互式多媒体阅读研究的空白，证实了阅读是一个适应性系统，其策略随环境和任务需求而变化，并为利用电子游戏进行语言学习的教育干预提供了实证依据。
**主要技术方法概括**
本研究采用组间设计，选取商业游戏《底特律：变人》第一章作为实验材料以最大化生态效度。样本队列来源于麦考瑞大学（Macquarie University）的 98 名native English speakers（年龄 17-32 岁），排除有游戏经验或听力障碍者，随机分配至 L1 或 FL 音轨组。实验在隔音室进行，使用 EyeLink Duo Portable 眼动仪（采样率 1000 Hz）记录游戏过程中的眼动数据。研究人员定义了字幕层级和单词层级的兴趣区（AOI），提取了注视次数、注视时间百分比、平均注视持续时间、回视率、扫视长度、单词跳过率、注视持续时间（gaze duration）及总注视时间等指标。数据分析采用广义线性混合效应模型（G/LMMs）和线性混合效应模型（LMMs），将参与者和字幕/单词作为随机效应，音轨条件和单词频率作为固定效应进行建模分析。
**研究结果**
**字幕层级眼动测量**
在注视相关指标方面，研究显示，与 L1 组相比，FL 组在每个字幕上的注视点数量显著更多，注视时间百分比更高，且平均注视持续时间更长。这表明在高阅读需求下，玩家需要投入更多时间来提取字幕信息。在扫视相关指标方面，两组在渐进扫视长度和回视长度上无显著差异，但 FL 组的回视率显著高于 L1 组。这说明高阅读需求主要影响了处理的时间维度（阅读效率），而未显著改变眼球运动的空间路径控制。
**单词层级眼动测量**
在单词跳过率方面，FL 组跳过的单词显著少于 L1 组。研究观察到显著的单词频率主效应，即高频词更易被跳过。重要的是，音轨条件与单词频率存在显著交互作用：FL 组的单词频率效应幅度较小，即随着单词频率增加，FL 组跳过概率的提升幅度小于 L1 组，暗示高需求下副中央凹加工效率降低。在注视持续时间（gaze duration，反映词汇识别早期阶段）上，仅发现单词频率的主效应，音轨条件及其交互作用不显著，表明核心词汇访问努力在不同需求下保持稳定。在总注视时间（total fixation time，反映词汇后整合加工）上，FL 组的总注视时间显著长于 L1 组，且存在显著的单词频率主效应，但无交互作用。这表明高阅读需求增加了词汇后的整合加工努力，但未改变对单词频率的敏感性。
**讨论与结论总结**
讨论部分指出，电子游戏中的多模态特性（视觉、听觉、手动操作）使得阅读呈现出非线性模式。本研究发现的高单词跳过率和回视率不同于传统的单模态阅读，可能源于玩家在时间压力和认知负荷下倾向于提取大意和关键词的策略。高阅读需求主要通过延长注视时间和增加回视来补偿理解需求，而非改变眼动路径。研究结论强调，上下文及由此衍生的任务调节了跨媒体的阅读行为。在交互式多媒体中，阅读策略并非固定不变，而是受到个体差异和情境因素（如音轨和字幕）的强烈塑造。具体而言，当教学目标侧重于上下文理解时，提供冗余音轨可降低认知负荷；而当目标侧重于词汇形式学习时，省略音轨可能促使更深层次的文本加工。该研究不仅扩展了现有的阅读理论，也为未来探索电子游戏在教学中的应用提供了重要的实证基础。
