为佩戴人工耳蜗的儿童提供的发音训练:通过基于移动游戏的设计来验证其临床有效性
《International Journal of Child-Computer Interaction》:Pitch training for children with cochlear implants: Negotiating clinical validity through mobile game-based design
【字体:
大
中
小
】
时间:2026年04月29日
来源:International Journal of Child-Computer Interaction CS7.2
编辑推荐:
安德烈亚·古利(Andrea Gulli)| 米凯莱·杰罗纳佐(Michele Geronazzo)| 费德里科·丰塔纳(Federico Fontana)| 哈娜·雅尔韦莱宁(Hanna J?rvel?inen)| 恩里科·穆齐(Enrico Muzzi)| 罗伯塔·雷贝斯科(
安德烈亚·古利(Andrea Gulli)| 米凯莱·杰罗纳佐(Michele Geronazzo)| 费德里科·丰塔纳(Federico Fontana)| 哈娜·雅尔韦莱宁(Hanna J?rvel?inen)| 恩里科·穆齐(Enrico Muzzi)| 罗伯塔·雷贝斯科(Roberta Rebesco)| 伊娃·奥尔赞(Eva Orzan)
帕多瓦大学工程与管理系,Stradella S. Nicola 3号,维琴察,36100,意大利第六区
**摘要**
听觉音高辨别在语音交流和音乐感知中起着至关重要的作用,然而对于使用人工耳蜗的儿童来说,可靠的训练和评估仍然具有挑战性。人工耳蜗主要用于缓解由耳蜗问题引起的重度至极重度听力损失。全球已有超过100万人植入了人工耳蜗。然而,由于电极与神经之间的接口问题以及缺乏有效的训练方案,人工耳蜗使用者仍然面临音高感知的困难。我们为单侧耳聋的儿童开发了两个移动应用程序:(i)一个基于家庭的音高识别训练游戏;(ii)一个由治疗师监督的适应性音高辨别评估工具。该系统结合了自适应音量校准(高斯过程回归)和基于游戏的交互方式,以平衡临床测量的有效性、发展适宜性和参与度。训练前的阈值与文献中的结果一致,证实了评估的可靠性。训练后,72.2%的单侧耳聋人工耳蜗使用者表现出阈值下降,中位数从9.12半音改善到了4.8半音。问卷数据表明参与者具有较高的参与度和可管理的任务负荷。除了实证结果外,这项工作还展示了如何在不可协商的临床限制下,通过协同设计过程将受临床约束的心理物理协议转化为以儿童为中心的互动环境。这些发现支持了个性化及适应性家庭康复模式,并提出了一种基于临床的儿童-计算机交互干预方法。
**1. 引言**
在语言交流(Laures & Weismer, 1999)和音乐聆听(Moore, 2013)中,区分听觉音高的能力至关重要;特别是在声调语言中,韵律和旋律对于识别说话者和乐器至关重要(Wang et al., 2010)。对声音基本频率(主要负责音高定义的参数)的感知能力下降会严重降低在噪声中的语音识别能力(Binns & Culling, 2007)。尽管人工耳蜗(CI)使用者在安静条件下通常具有良好的词汇识别能力,但他们仍难以察觉音高和音色的差异(Limb & Roy, 2014)。因此,即使他们能清晰地听到声音,也可能难以判断一个声音的音高是高于还是低于另一个声音(Zeng et al., 2014)。关于人工耳蜗使用者音高感知的研究结果存在较大差异:一些使用者与正常听力者表现相似,而另一些则需要更大的音高差异才能察觉变化(Brockmeier et al., 2011, Bruns et al., 2016, Kang et al., 2009, Luo et al., 2014)。此外,由于与听力损失相关的神经可塑性(Koops et al., 2020),感知映射会随时间变化(Saenz & Langers, 2014)。这些局限性促使人们开发出针对性的听觉训练方法,以优化电信号音高的表示并减少不同使用者之间的功能差异。
针对单侧耳聋人工耳蜗使用者的研究尤其具有意义,因为他们的神经可塑性使他们能够更快速地适应新的感知能力。本研究聚焦于一只耳朵植入人工耳蜗、另一只耳朵听力正常的患者(以下简称“单侧耳聋人工耳蜗”(SSD-CI)群体。这一群体提供了独特的机会:儿童可以在日常聆听中直接比较声学音高(正常耳朵)和电信号音高(人工耳蜗耳朵)。据报道,SSD-CI使用者往往很少使用植入的耳朵进行聆听(Han et al., 2021)。受视觉研究中类似发现的启发(例如,弱视眼的双眼训练(Murphy et al., 2015)),我们探讨了同时使用双耳是否有助于正常听力耳朵引导植入耳朵的感知。据我们所知,这种方法在SSD-CI儿童的听觉训练中尚未被探索(Gordon et al., 2015)。这种方法可能对神经可塑性较强的儿童更为有益,尤其是年龄较小的儿童。因此,我们假设双耳训练可以提升SSD-CI儿童的电信号音高辨别能力,并且这种改善可以通过嵌入在以儿童为中心的互动系统中的、基于临床的、具有心理物理有效性的评估协议来量化。
**2. 音高感知的临床评估**
音高感知的临床评估依赖于心理物理程序,但这些程序的持续时间、认知负荷和严格的设计往往与儿童的注意力范围和互动能力不匹配。这些程序通常较长且要求较高,难以适用于儿童。本研究没有简化协议或仅仅在现有测试中添加游戏元素,而是将系统设计视为临床限制与以儿童为中心的互动之间的平衡。虽然心理物理有效性保持不变,但互动设计、任务节奏以及在使用环境中的部署(如Hourcade, 2022所讨论的)根据SSD-CI儿童的能力进行了调整。
根据CHI’25关于聋哑和听力障碍儿童(DHH)的CCI系统评价(涵盖2000年至2024年3月的42篇论文),相关研究较少;在最近的五年期间(2020年至2024年3月),仅有大约10篇论文,其中很少涉及听觉康复,且没有针对SSD-CI儿童的单耳音高训练(Zhao et al., 2025)。基于我们的文献搜索,我们未发现先前针对SSD-CI儿童的单耳音高训练的协同设计研究;早期的研究主要针对双耳听力损失的人工耳蜗儿童或没有单耳音高焦点的广泛听觉游戏(?etinkaya et al., 2024, Zhou et al., 2012),且未报告参与式设计过程。这凸显了基于临床的听觉训练与以儿童为中心的互动设计之间的差距。本项目借鉴了Hourcade提出的CCI十项原则(Hourcade, 2022)以及残疾背景下的参与式设计实践(Frauenberger et al., 2016, Spiel et al., 2017),确定了与临床限制协商的主要领域。互动设计、任务节奏和实际使用条件成为关键点,而心理物理评估要求保持不变。
本研究通过重复测试循环实现参与,儿童主要作为信息提供者和测试者,临床医生则定义不可更改的心理物理要求。设计决策系统地记录了对观察到的工作负荷限制、注意力模式和临床测量要求的响应。这些记录为说明参与者、程序和应用如何在最终设计中相互作用提供了依据(Spiel et al., 2017)。这些试点会话观察的具体例子(例如校准过程中的犹豫或试验次数的增加)对应于具体的设计调整,如界面简化或自适应校准程序。这种结构化的记录回应了CCI文献中关于残疾儿童研究中决策来源和评估严谨性报告不足的担忧(Zhao et al., 2025)。因此,我们为iOS和Android平台开发了两个跨平台移动应用程序:一个用于家庭音高识别练习的训练游戏,另一个用于治疗师监督的音高辨别评估。这两个应用程序均与临床医生和治疗师共同设计,在开发过程中经过儿童测试,并通过引导流程介绍给家庭以便在家中使用。这两个应用程序共同构成了将家庭训练与治疗师监督的评估相结合的统一系统。
除了界面设计外,该研究还解决了CCI研究中关于明确学习评估使用有限以及混合方法前后评估设计稀少的方法学问题(Baykal et al., 2023)。通过结合临床可解释的心理物理测量、参与式测试和实际应用,本研究展示了如何将以儿童为中心的互动设计与严格的训练结果评估相结合。传统的音高辨别实验可能持续超过一小时,并需要复杂的音量校准过程,这与儿童的注意力范围和互动能力不匹配(Brockmeier et al., 2011, Gockel et al., 2020)。同时,如果不牺牲心理物理有效性,也无法简化辨别范式本身。因此,设计系统时需要确定在这些限制内可以进行调整的地方。为了减少工作负荷和会话时长,我们采用了最近提出的自适应测试方法来缩短评估时间(Gulli et al., 2023)。同时,使用生态有效的听觉刺激和游戏化的互动结构提高了参与度,同时保持了心理物理任务的完整性。
个性化被有意限制在适度范围内。在评估中,通过个性化音量校准和自适应试验顺序确保测量的可靠性和效率;在训练中,儿童可以根据CCI原则直接操作来探索音高关系(Hourcade, 2022)。根据Kucirkova的观点(Kucirkova, 2019),我们的方法在保持有效心理物理特性的同时,保留了儿童主导的互动机会,解决了完全自动化个性化可能削弱儿童主动性的问题。
**具体贡献**:
1. 基于移动游戏应用的经验证的听觉音高辨别评估程序;
2. 基于可在家中使用的游戏应用的、已被证明有效的听觉音高训练程序;
3. 加速听觉音高辨别评估的方法;
4. 详细说明如何在临床限制内协商心理物理有效性、个性化和以儿童为中心的互动的临床基础参与式设计生命周期。
我们对一组SSD-CI儿童进行了研究,获得了显著的结果。这些结果为基于正常听力者自然且直接解释的听觉线索来讨论电信号音高和声学音高的感知提供了依据。
**论文结构**:
第2节将本研究置于听觉和CCI康复文献以及参与式协同设计模型的背景下;第3节描述了参与式设计生命周期和塑造最终系统的利益相关者互动;第4节介绍了稳定的实验设计;第5节和第6节报告了程序和数据分析;第7节展示了结果;第8节讨论了方法学和CCI的影响;第9节总结了未来的工作。
**2. 相关工作**
**2.1 听力障碍的听觉训练和康复**
听觉训练被广泛认为是听力障碍人群康复的支持手段。综述表明,结构化的听觉练习可以提高感知能力,但也指出训练范式、结果测量和报告的益处存在较大差异(Stropahl et al., 2019)。针对人工耳蜗使用者的证据表明,训练可以改善听觉技能,但系统评价也强调了方法学上的异质性和实验严谨性的不均衡(Cambridge et al., 2022)。针对性干预措施在特定感知能力(如人工耳蜗听力下的音高感知和旋律轮廓识别)方面显示出改善(Galvin et al., 2007, Vandali et al., 2015)。然而,对听觉训练研究的广泛分析强调了实验设计、控制和结果定义中的反复局限性,这使得跨干预的比较和结果推广变得复杂(Henshaw & Ferguson, 2015)。最近的研究进一步强调了生态有效性和个性化的重要性:训练应针对日常聆听条件(Gaver, 1993, Keidser et al., 2020),考虑个体差异(Shin & Park, 2023),并考虑样本异质性(Stropahl et al., 2019)。这些建议突显了实验控制、个性化治疗和生态应用之间的持续紧张关系。
针对人工耳蜗儿童的训练时,还会出现额外的设计挑战。听力损失和植入延迟可能影响读写能力、语言能力和行为(Calderon & Greenberg, 2012),从而增加他们在复杂感知任务中的挫败感和退缩倾向。因此,提出了基于游戏的结构性数字干预措施来促进听觉记忆、注意力和表达能力(Xiang et al., 2024)。参与式设计研究表明,与聋哑儿童的协作需要考虑视觉注意模式和设计活动中的沟通方式(Potter et al., 2014)。补充性工作提出了针对聋哑儿童的游戏指南,建议最小化不必要的视觉干扰并结构化互动以支持理解和任务进展(Melonio & Gennari, 2013)。此外,越来越多的研究认为,在家庭环境中由看护者支持的应用程序有助于将训练扩展到日常生活(Kim et al., 2021)。据我们所知,先前的研究尚未同时结合自适应心理测量评估、生态家庭应用和以儿童为中心的参与式设计来开发人工耳蜗相关听觉训练的验证方案。
**2.2 儿童的个性化和适应性互动**
个性化及适应性互动已在多个以儿童为中心的技术领域得到探索。在干预科学中,适应性治疗将个性化定义为基于个体时间轨迹的规则调整(Almirall & Chronis-Tuscano, 2016)。类似地,数字学习环境和严肃游戏的研究经常采用动态难度调整和个性化节奏等机制,以保持学习者的参与度,同时逐步帮助他们达到目标能力(Plass et al., 2015)。CCI研究将这些原则应用于为听力障碍儿童设计的技术中。早期的系统,如ARTUR,通过发音反馈和纠正指导来探索计算机辅助语音训练(B?lter等人,2005年)。Iversen及其同事引入了具身交互,通过在协作环境中结合运动和听觉反馈来支持听力障碍儿童的语言学习(Iversen等人,2007年)。其他系统使用振动触觉反馈来促进节奏感知,展示了多模态交互如何扩展聋儿的听觉体验(Petry等人,2018年)。更近期的工作,如BEARS虚拟现实训练套件,进一步探索了适应性复杂性、多样化的场景和奖励结构,以个性化年轻听力障碍用户的空间听觉训练(Vickers等人,2021年)。在这些例子中,以儿童为中心的适应性主要通过多模态反馈、具身或游戏化的交互以及以参与为导向的设计来实现,而关于训练效果的具体证据则有限且不均衡。这些交互策略与认知交互技术(CCI)中的广泛观点一致,即具身和基于感知的界面可以外化认知关系,并减少理解抽象任务所需的努力(Antle,2013年)。在以儿童为中心的听觉系统中,这种外化尤为重要,因为临床上有意义的感知差异可能难以在重复试验中解释或维持。空间或物理表示可以通过直接感知关系来简化任务执行,而不仅仅依赖于口头解释或符号指令。先前的研究表明,从幼儿时期起,音高就与垂直空间位置相关(Cuturi等人,2019年),这种映射影响感知判断和反应速度(Rusconi等人,2006年)。参与式设计工作还表明,儿童在重复任务中的参与通常通过交互系统中嵌入的可识别反馈和进度提示得以维持(Iversen等人,2013年)。总的来说,这些观察表明交互设计在儿科听觉系统中可能扮演双重角色:在支持参与的同时,使具有挑战性的感知或心理物理任务对儿童更加可行。虽然这些系统展示了适应性和个性化交互如何提高听力障碍儿童的参与度和可访问性,但最近的综述强调了评估其结果的局限性。特别是,研究往往依赖于小规模的探索性部署,提供的实验条件报告有限,很少结合混合方法研究设计或纵向结果测量(Zhao等人,2025年)。在其他CCI领域也注意到了类似的方法学问题,其中研究经常缺乏明确的学习结果评估框架(Baykal等人,2023年)。这些观察表明,适应性交互策略应辅以能够产生可解释的学习或感知变化测量的评估协议。
2.3. 参与式设计模型
参与式设计是CCI中一个成熟的方法,强调让儿童参与到为他们设计的技术开发中。典型的定义区分了儿童在设计过程中可能扮演的几种角色——用户、测试者、信息提供者或设计伙伴——每个角色对应于对设计决策的不同影响程度(Druin,2002年)。基于这些区别,许多CCI研究采用了迭代共同设计实践,通过观察、测试和重新设计的循环逐步完善原型,涉及儿童和成人利益相关者。这种方法已广泛应用于具有不同发展水平的儿童的工作中,包括专注于自闭症的参与式设计框架如IDEAS及相关方法(Benton等人,2012年)。在医疗保健和康复领域,参与式设计通常涉及患者、护理人员和临床医生共同开发治疗技术和干预方案(Massey等人,2024年)。在听觉康复中,这种方法已被用于完善听力障碍用户的交互场景和训练环境(Vickers等人,2021年)。然而,参与式角色可能需要根据领域的限制进行调整。例如,YoungDeafDesign表明,听力设计师与非常年幼的聋儿之间的沟通障碍和不对称性可能限制了全面的设计伙伴参与,导致他们的贡献更接近于测试者或信息提供者的角色(Korte,2022年)。在当前背景下,这些限制在心理物理评估中尤为明显。在听觉实验中,刺激呈现规则、反应范式和校准程序必须保持固定,以保持测量的有效性。因此,儿童通常在迭代评估中以测试者或信息提供者的角色参与,而临床医生和研究人员定义实验参数(Druin,2002年)。在CCI关于赋权的文献中,这种形式的参与常被称为功能性赋权,即使核心任务结构保持不变,儿童也能影响可用性、参与度和部署条件(Mechelen等人,2021年)。尽管如此,参与式过程仍然在设计师和参与者之间产生了相互学习,揭示了感知限制、策略和情境实践,为后续的设计决策提供了信息(Qi & Yu,2025年)。在诸如人工耳蜗植入等康复背景下,这种交流尤为重要:当儿童参与训练和评估活动以发展听力能力时,研究人员同时获得了关于这些用户如何感知、解释和与听觉刺激互动的见解。最近对HCI中参与式实践的分析进一步表明,利益相关者观察如何转化为具体设计决策的过程往往记录不足。尽管迭代共同设计被广泛报道,但利益相关者输入、出现的设计紧张关系以及最终实施选择之间的可追溯性很少被明确说明(Qi & Yu,2025年)。这种限制使得难以重建参与式贡献如何塑造技术制品和方法论程序。
分析视角,如行动者网络理论(ANT)(Latour,2005年)和批判性话语分析(CDA)(Maier & J?ger,2016年),提供了分析设计过程作为不断演变的行动者、制品和约束网络的概念工具。这些方法已应用于自闭症儿童的参与式设计研究中,分析参与者、研究人员和技术制品之间的互动如何随时间塑造设计轨迹(Frauenberger等人,2016年;Spiel等人,2017年)。在这种视角下,方法论要求也可以被视为设计网络中的行动者,而不同利益相关者产生的陈述提供了关于设计决策如何通过协商产生的见解。以下部分采用这一视角来重建当前工作背后的参与式生命周期,描述儿童、临床医生、研究人员和实验限制之间的互动如何塑造了最终的培训和评估生态系统的发展。
3. 从临床协议到以儿童为中心的生态系统:一个参与式设计生命周期
本节记录了将临床音高评估和家庭训练活动发展为连贯的康复生态系统的参与式设计过程。这一过程持续了近三年(2020年11月至2023年9月),涉及一个跨学科团队,随着开发和试点过程中新需求的出现而不断扩展。为了清晰起见,我们将这一生命周期描述为三个相互作用的领域:最初需求的临床协议、将这些需求转化为应用程序和程序的技术实现,以及训练必须对儿童和家庭变得可行且有意义的家庭环境。我们总结这一轨迹为三个阶段:
- 第一阶段:通过早期观察和可行性问题,初始临床协议的不稳定。
- 第二阶段:方法论调整,以确保评估程序对儿童来说是可行且可靠的。
- 第三阶段:生态和监管整合,使其与家庭使用和机构要求兼容。
根据Druin的参与框架(Druin,2002年),该项目中的儿童主要作为用户、测试者和信息提供者参与评估活动,在这些活动中,核心测量结构不能被重新设计而不影响可靠性。他们的参与集中在交互框架、节奏、可理解性和工作负荷上。同时,儿童和家庭影响了更广泛的使用生态(Hourcade,2022年),包括训练从诊所转移到家庭以及使用熟悉的移动设备。临床医生和治疗师作为关键的信息提供者和共同设计贡献者,定义临床要求,确保与听力障碍的兼容性,并支持适合儿童的实施。
以下小节介绍了参与的人类行动者、三个生命周期阶段、系统演变的社技网络、在整个过程中收集的记录行动者陈述,以及稳定最终训练-评估生态系统的主要谈判。
3.1. 人类行动者和角色
HCI研究小组由一名首席研究员和两名高级研究员组成。首席研究员协调项目,实施移动应用程序,并维护设计迭代和试点观察的文档。高级HCI科学家提供了方法论和技术监督,包括CCI设计、数字信号处理和实验验证的指导。随着对可靠心理物理评估程序的需求变得明显,一位心理声学专家加入了合作,提供有关区分测试程序和刺激设计的建议。临床团队包括一位拥有超过十年与听力障碍儿童工作经验的耳鼻喉科医生、一位专门研究听力障碍编码策略的工业工程师、三位医院语言治疗师和一位医院护理人员。临床利益相关者定义了研究目标,确保与听力障碍硬件和处理的兼容性,并评估了舒适度、工作流程的对齐性和适合年龄的交互特性。一位拥有超过十年与听力障碍儿童工作经验的康复语言治疗师(不同于医院语言治疗师)在项目的后期阶段作为共同设计贡献者。她促进了家庭招募,组织了与儿童的协作会议,并帮助完善了工作负荷校准和入职程序。一位GDPR专家(法律信息学教授)担任伦理顾问,参与了同意书文档的设计和合规的数据管理程序。
两个参与者群体参与了开发过程。最初的alpha测试组包括四名SSD-CI儿童(1名女性,3名男性;平均年龄=13.00±3.08岁)和五名NH儿童(5名男性;平均年龄=12.80±3.92岁)。这些会议在医院环境中进行,SSD-CI参与者是通过临床医生从现有患者中招募的。这些会议的行为观察为早期界面调整和交互改进提供了信息。第二个群体参与了最终的共同设计完善和实验评估。该组包括七名SSD-CI参与者(2名女性,5名男性;平均年龄=14.57±6.21岁;听力障碍经验11个月至15年)和八名NH参与者(3名女性,5名男性;平均年龄=13.88±3.59岁)。这一阶段的SSD-CI参与者是由康复语言治疗师从现有和以前的患者中招募的,而NH参与者则是通过跨学科团队认识的家人招募的。为了透明起见,我们区分了塑造数字环境的三种贡献者类别:
- 共同设计信息提供者,包括HCI研究小组、临床工作人员、康复语言治疗师和GDPR顾问;
- 为原型完善做出贡献的alpha测试者;
- 参与最终实验评估的参与者。所有参与者都完成了研究。由于程序错误(训练不完整;耳机通道反接),一名SSD-CI参与者和一名NH参与者被排除在分析之外。
3.2. 临床、技术和家庭环境中的生命周期阶段
生命周期经历了上述三个阶段:临床不稳定、方法论调整和生态-监管整合。早期工作集中在以培训为导向的原型上,但与临床利益相关者的讨论逐渐将项目重新定位为需要一个临床有效的评估程序。这些活动的总体时间线在补充材料提供的甘特图中进行了总结。
第一阶段——临床协议的不稳定
早期参与发生在医院环境中,重点观察现有的听觉实践并讨论它们对以儿童为中心的部署的局限性。直接观察临床音高检测程序揭示了其诊断相关性和对儿童的实际限制,包括长时间的会话、响度-音高混淆以及由听力障碍处理策略造成的限制。这些观察突显了临床 established 程序与儿童交互能力之间的紧张关系,表明需要重新思考如何以适合儿童的形式评估音高感知。这一阶段包括八次探索性会议,包括临床观察、早期原型探索以及与临床医生和工程师的多学科讨论,暴露了需要一个既能产生可靠阈值又对儿童可行的心理物理评估程序。特别是,临床医生强调音高区分不应与响度差异混淆,因为声音水平可以强烈影响音高感知(Zheng & Brette,2017年)。因此,确保感知响度的一致性成为评估任务的核心要求。
第二阶段——在心理声学约束下的方法论调整
第二阶段涉及十二次迭代设计和专家咨询,项目从以培训为导向的原型转向了一个既能进行培训又能进行可靠音高评估的系统。与心理声学专家的咨询支持了从基于检测的测试向适应性两区间两选择强制选择(2I–2AFC)加权上下区分程序(Kaernbach,1991年)的过渡,适用于阈值估计。从这些讨论中出现了几个方法论决策。引入了响度校准,以防止刺激比较被解释为响度判断。添加了反应时间记录和结构化的交互记录,以支持任务性能的分析。在CI处理器能够有效传输的范围内,还选择了三个参考刺激频率,这些频率与语音感知相关。同时,通过HCI研究人员和临床医生的专家共同设计,开发了训练应用程序,这一过程借鉴了评估应用程序试点测试中获得的观察结果。其交互设计将音高关系转化为探索性的音高识别活动,并通过视觉和手势隐喻来帮助儿童更好地理解任务。相比之下,在此阶段,评估应用程序通过与儿童的反复试点测试来评估心理物理辨别程序的可行性。其交互设计采用了简化的空间编码和受限的响应格式,以明确任务内容而不改变其心理物理结构。尽管存在这些差异,但两个应用程序都依赖于相同的声学刺激生成、进度指示器和数据记录程序来监控任务表现。
**第三阶段——生态与监管整合**
一旦评估程序和交互隐喻达到稳定配置,便与儿童进行迭代测试,重点关注可行性和可用性。这一阶段共进行了十二次试点会话:
- 两次在家庭中的会话;
- 四次在医院中的会话,儿童完成了完整的评估协议;
- 六次在医院中的会话,康复治疗师参与评估程序的可行性、工作负荷和配置调整,为最终实验部署做准备。
会话遵循半结构化格式,包括介绍、演示、全面评估、疲劳监测和会后讨论。现场笔记、交互日志和选定的视频记录了儿童的行为和互动困难。如果儿童感到疲劳,也可以暂停、重复或终止部分程序;在一个SSD-CI案例中,由于不适,在响度平衡后中断了会话。
这些会话揭示了需要对评估程序进行的一些调整。界面布局得到了简化,响度校准程序通过数据驱动的估计方法进行了缩短。迭代观察还促使对任务参数进行了调整,例如反馈动画的速度和最大辨别试验次数。这些观察结果还用于改进训练应用程序,包括引入简短的干扰活动以减少长时间互动中的疲劳。
与康复语言治疗师的并行讨论明确了招募标准和工作负荷期望,而家庭问答环节则澄清了任务难度、结果解释和家庭使用条件。同时,与GDPR专家的咨询正式化了同意程序、合作协议和仅限本地的数据管理计划。这些步骤最终获得了IRB的批准,并过渡到最终实验部署。
在整个生命周期中,训练应用程序经历了三次重大界面修订和大约十次小型改进,而评估应用程序经历了六次重大修订和大约二十次小型调整,具体内容见补充材料中的变更日志。
这些发展逐步重新配置了临床参与者、技术制品和交互环境之间的关系。以下部分通过一系列参与者网络快照来展示这一演变过程。
**3.3. 社会技术网络**
为了补充基于阶段的描述,我们通过三个参与者网络快照来展示设计过程,这些快照对应于生命周期中的关键时刻。这些图表不是简单地重现时间顺序,而是展示了主要参与者、制品和约束如何通过转换过程逐步连接起来。在这三个快照中,网络从基本不协调的配置发展为以协议为中心的安排,最终扩展为一个包括家庭和机构参与者的生态系统。
初始快照(图1)显示了四个主要独立的领域:SSD-CI儿童、临床医生、HCI研究人员和移动技术。儿童通过听力状况和发展概况来表示;临床医生通过临床实践和专业知识来表示;HCI研究人员通过设计实践、研究方法和面向家庭数字培训的研究议程来表示;移动技术通过交互能力、部署潜力和嵌入式仪器来表示。第一个转换出现在儿童和移动技术之间:日常移动设备的使用和触觉交互使移动应用程序成为适合儿童的界面。第二个转换出现在HCI研究人员和移动技术之间:对家庭康复和数字培训工具的兴趣推动了技术探索,转向便携设备和嵌入式数据捕获。然而,在这个阶段,这些关系仅部分与临床评估实践相连。
第二个快照(图2)对应于第一阶段和第二阶段实现的方法论调整。此时,网络围绕协议协商重新组织,协议协商成为连接临床实用性、心理物理有效性、交互设计和应用程序实现的中心中介。一个明显的转换涉及临床需求和响度平衡:对诊断性有效音高测试的需求激活了与应用和方法相关的参与者,如自适应程序、刺激控制和交互监测。另一个转换涉及儿童的特征和变异性:注意力持续时间、疲劳、CI设备侧和年龄范围触发了工作流程和交互设计中的调整,包括自适应测试、会话时长控制、垂直音高映射和年龄适应性交互。在这种配置下,儿童、临床医生、研究人员和移动应用程序不再是平行领域;它们通过新兴的心理物理协议及其技术实现连接起来。
下载:下载高分辨率图像(273KB)
下载:下载全尺寸图像
图1. 协议不稳定之前的初始配置。图2还揭示了网络技术层内的第三个转换。选择2I–2AFC辨别范式的方法论决策需要在移动应用程序中特定的技术对应物,如算法、数字信号处理(DSP)和交互监测等参与者。换句话说,心理物理结构被转化为具体的应用程序行为,包括自适应程序、受控刺激生成、响应监测和试验记录。在这个阶段,两个应用程序之间的区别也变得明显。训练应用程序强调探索性交互和音高空间导航,而评估应用程序则执行受限的辨别任务。尽管存在这些差异,但两个应用程序都依赖于相同的底层心理物理协议(刺激、自适应程序)和共享的数据收集方法,确保了临床可解释的测量结果。
下载:下载高分辨率图像(349KB)
下载:下载全尺寸图像
图2. 协议协商方法论调整后的配置。
第三个快照(图3)代表了第三阶段达到的生态系统配置。与图2相比,网络扩展到了包括部署、治理和日常使用相关的参与者。社会参与者(家庭、学校和家庭环境)、技术参与者(硬件和听觉环境)、监管参与者(伦理批准、同意程序、GDPR合规性)和组织参与者(团队角色和研究议程)进入了网络,同时还有动机和交互元素,如反馈机制、适应性、指令框架和界面修订。这里可以看到第四次转换:向家庭部署和实验批准的转变激活了无法仅通过心理物理有效性来满足的要求。家庭部署引入了技术限制和社会机会。硬件和听觉环境(如耳机、移动设备和家庭声学条件)对刺激传递和实验控制施加了实际限制。同时,围绕儿童的社会生态,包括家庭和同伴,为基于分数的反馈和游戏化竞争等激励策略提供了机会。机构批准则激活了监管和组织参与者,重塑了应用程序和实验协议的运作形式。
总体而言,这三个图表表明,最终系统并非预定义设计的线性实现结果。相反,随着不同参与者获得指导他人的能力,参与者网络逐步被重新配置:儿童的特征激活了工作流程和交互响应,临床需求引发了方法论和技术决策,部署和监管参与者将网络扩展为一个更广泛的生态系统。因此,这些图表简要说明了项目如何从一个最初松散的参与者集合发展成为一个协调的训练-评估生态系统,其动态将在下一节通过利益相关者陈述进一步详细探讨。
下载:下载高分辨率图像(451KB)
下载:下载全尺寸图像
**3.4. 记录参与者的陈述**
除了对参与者网络的结构性描述外,我们还记录了设计决策在整个生命周期中产生的具体互动。我们的分析涵盖了上述三个阶段产生的各种异构制品,包括研究笔记本、原型草图、电子邮件交流、试点会话记录、交互日志和监管文件(表1)。这些材料记录了整个生命周期中的互动、观察和讨论。我们按照既定程序(Holsti, 1969)进行了定性内容分析。一个陈述被定义为表达(i)临床或方法论约束,或(ii)对设计有影响的可观察儿童行为的独立意义单位。例如,疲劳标记、响应时间漂移、澄清请求或任务中的注视回避等。初步分类由第一作者在收集的材料中进行,随后在涉及两位HCI研究人员和康复语言治疗师的跨学科会议中进行了审查。
表1. 用于识别和记录生命周期各阶段参与者陈述的制品
**数据类型** | **收集的数据** | **参与者**
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | ---非自适应刺激网格也被丢弃了,因为如果没有基于模型的插值,它们将需要更多的试验次数。响度校准临床讨论强调,音高判断不应受到感知响度差异的干扰,因为声音水平可以影响音高感知(Zheng & Brette, 2017)。这使得响度平衡成为区分任务的必要前提条件。然而,在手动校准期间的初步观察记录显示,反应时间增加、犹豫以及视线回避,这表明该程序在其初始形式下要求过高。因此,引入自适应高斯过程回归(GPR)程序并没有取代响度平衡的临床要求;相反,它重新配置了如何在适合儿童的会话时间内满足这一要求。在这个意义上,协商的重点不是是否应该进行响度平衡,而是如何在评估本身之前不使参与者感到疲劳。
训练与评估之间的关系早期迭代表明,单次应用无法充分支持探索性练习和受控的心理物理测量。这两种活动需要不同的交互逻辑:训练受益于开放式探索、重复和明确的动机支持,而评估则需要受限的响应和减少的交互干扰。因此,解决方案是将系统分为两个协调的应用程序:一个面向探索性音高识别的训练游戏,以及一个实施区分协议的治疗师监督的评估应用程序。这种划分在评估中保持了方法论的控制,同时在训练的交互设计上提供了更大的灵活性。
奖励和竞争的作用在评估应用程序的初步会话中观察发现,当没有明显的进展或比较时,重复试验会迅速降低注意力。在这些会话中,一些听力正常的儿童自发地比较了他们的结果,并对彼此的表现进行了评论。这些行为表明,在重复交互中,比较评分可以作为动机元素。尽管这些观察是在评估任务评估过程中出现的,但它们为训练应用程序的设计提供了信息,在家庭中预期会进行更长时间的重复练习。因此,训练游戏逐渐加入了更清晰的奖励机制,包括可见的分数积累和最高分系统。目的是使重复的音高识别练习足够吸引人,以维持参与者在诊所外的自愿参与。评估应用程序需要不同的平衡。在许多心理物理实验中,避免提供反馈,因为它可能会影响阈值估计期间的响应策略。然而,初步会话表明,当在界面中引入可收集的小元素时,儿童表现出明显更强的注意力和情感投入。因此,评估交互中加入了一个最小的奖励机制。界面采用了涉及弹珠和可收集草莓的视觉进展隐喻,这在重复试验中提供了运动和成就感。详细的交互结构在第4节中有描述。
生态部署家庭训练需要与儿童自己的设备和日常听觉条件兼容,而机构审查则需要合规的同意、招募和数据存储程序。同时,生态考虑也影响了内容选择:保留了真实但受控的阻尼正弦刺激,因为它们在保持实验控制的同时,仍然可以解释为合理的听觉生态系统的元素。混合方法组件,包括入职讨论和会后问卷,被添加进来,以记录不仅表现,还包括工作量、参与度和家庭对系统的理解。总的来说,这些协商将最初的技术评估问题转变为一个可部署的训练-评估生态系统,连接了家庭练习、治疗师监督的评估和看护者支持的参与。
4. 实验设计每位参与者完成了一次预训练评估、一系列家庭训练会话和一次后训练评估。下面描述的协议对应于第3节中详细说明的参与式设计过程所产生的稳定配置。它将基于心理物理学的音高区分评估与为儿童设计的交互式训练活动结合起来,同时保持了可靠阈值估计的方法论要求,并使交互结构适合儿科参与者。图4详细说明了每个阶段的实验。
4.1. 预训练和后训练评估预训练和后训练评估是相同的,包括五个步骤:任务说明、响度校准、自适应音高区分、可选的干扰任务和任务后体验报告。
4.1.1. 任务说明治疗师介绍了预训练和后训练任务,并在整个评估过程中监督参与者。她的角色是向儿童和家长解释程序,减少误解,并支持家庭遵守整个协议(Rotfleisch & Martindale, 2021)。在开始时引入了空间-音高映射和视觉锚点,以支持抽象的听觉判断。整个过程中使用了视觉隐喻,使动作快速、渐进且可逆。治疗师根据参与者的发育阶段调整了任务解释。所有参与者都通过空间-音高关联来了解评估,将上升的音高映射到向上的运动,将下降的音高映射到向下的运动,这与早期儿童时期的跨模态对应关系一致(Dolscheid et al., 2014)。对于年幼的儿童,解释基于熟悉的治疗活动,并在熟悉的房间内进行更密切的监督,以防止过载(Martini & Schindler, 2004)。年龄较大的参与者需要较少的支持,可以更自主地完成评估,必要时使用图标或音乐示例来澄清任务。
4.1.2. 响度平衡任务一旦任务被说明,参与者将每个刺激调整到他们最舒适的响度(MCL)。然后他们使两只耳朵中的声音听起来同样响亮。这一步骤是必要的,以减少后续音高区分任务被解释为响度比较的风险。为了保持认知负荷适合儿童,我们采用了一种由GPR驱动的主动学习式的成对比较方法,并进行了明确的噪声建模。在每次试验中,儿童通过使用三个按钮调整比较音调来匹配两个具有不同基频的指数衰减正弦波的响度。两个增加控制(+1 dB和+4 dB)位于界面的上部,一个减少控制(-1 dB)位于下部,遵循更响亮/向上和更柔和/向下的空间关联(见图8 - 第5.1节的左侧)(Puigcerver et al., 2019)。主动学习者查询最有信息量的比较,以便从不超过七次响应中估计出个体的响度匹配轮廓。这个上限反映了治疗师对注意力范围的先验知识,确保程序保持在适合儿童的有限调整次数内,同时保持适应性和个性化。七次查询后,使用估计的轮廓来设置后续音高区分任务的比较水平。详细的数学公式在附录A中报告;这里我们总结了程序的操作步骤。高斯过程回归模型(Rasmussen & Williams, 2019)在测试的频率范围内迭代估计了这个响度匹配轮廓。在每次迭代中,系统选择一个信息量大的比较,儿童调整音量水平,模型更新其估计值。与需要更多调整的早期程序(Schlittenlacher & Moore, 2020)相比,我们的实现将每个刺激的交互式响度匹配限制在七次迭代(三个刺激),以平衡校准准确性和会话持续时间。初步会话表明,这种配置允许儿童舒适地完成任务,同时保持稳定的水平估计。图5展示了轮廓估计过程的前四次迭代。
4.1.3. 自适应音高区分任务可以使用各种方法测量音高区分阈值。在我们的程序中,首先在辅助耳朵呈现一个参考刺激,500毫秒后,在对侧(非辅助)耳朵呈现一个频率和水平根据之前计算的响度匹配轮廓而变化的刺激。参考刺激在参与者的MCL下呈现,并在整个序列中保持不变。任务是根据感知的音高将两个刺激按升序排序。我们使用了一种自适应的2I-2AFC程序(Kaernbach, 1991):每次回答正确时,任务变得更加困难;回答错误时,任务变得更加容易。当没有感知到差异时,参与者被指示猜测(Green et al., 1966)。两个声音之间的频率距离自动调整,以估计儿童能够可靠地检测到音高差异的点。在每个序列中,初始步长设置为10%,并在16次试验中进行调整。这个值是根据经验确定的,以使会话持续大约30分钟。16次试验后,计算平均值和95%的置信区间。如果最后一个频率步骤在该区间内,则认为得到的阈值足够稳定,音高区分序列终止,参与者开始下一个参考频率;否则,对于相同的参考频率重复另一个16次试验的序列,并在块之间插入一个干扰任务。块长度和停止标准在初步会话中确定,以平衡参与者的注意力范围和可靠的心理测量收敛性,同时限制总会话持续时间。图6展示了一个通过两个序列测试参考音调的例子。测试了三个参考频率:750 Hz、1 kHz和2 kHz。选择这些频率是因为它们与日常语音相关,并且被常见的CI设备支持(Nguyen, 2023, Wagner et al., 2021)。
4.1.4. 干扰任务如果16次试验后区分阈值没有达到稳定值,则在下一个相同参考频率的试验序列之前,会呈现一个捕捉试验,让参与者通过完成一个不同的任务(Adel et al., 2019)来休息,该任务包含视觉和听觉元素。静态场景取代了滚动屏幕。同时向两只耳朵呈现两个纯音。之后,参与者必须回答“你听到的是一个还是两个不同的声音?”。参与者指出他们在两只耳朵中听到的是同一个声音还是两个不同的声音,不提供任何反馈。这些音调的频率与最近区分的音对相同,以便将来用于涉及听觉(通常是纯音)和生态刺激之间比较的分析。
4.1.5. 体验质量为了结束评估,参与者回答了一个修改版的NASA任务负荷指数(TLX)(Hart, 2006),称为NASA Raw TLX(RTLX)(Hart & Staveland, 1988),评估他们主观感知的工作负荷;此外,他们还回答了一个简短的用户体验问卷(UEQ-S)(Schrepp et al., 2017),评估用户体验的主观印象。使用修改版是因为它的长度较短。这些问卷用于记录训练前后的感知工作负荷和用户体验,补充了行为测量与任务难度和可用性的主观报告。
4.2. 在家训练家庭训练包括通过平板电脑运行的移动游戏进行的重复音高识别试验。与评估一样,在识别块之间插入了干扰任务,以缓解注意力疲劳。基于初步观察,儿童在重复的稳定音高试验后更容易分心,因此设计了需要主动参与的干扰活动(Agrawal & Bech, 2023),通过运动和行动。受Whac-a-Mole(Garcia et al., 2018)和Guitar Hero(Yuan & Folmer, 2008)的启发,参与者必须通过轻触触摸屏上的鼓组图标来跟上节奏性的听觉模式。每次会话后,参与者通过从菜单中选择(见表3)完成一个简短的问卷,提供关于再现设备、房间大小、音量水平以及他们在游戏中的情绪的三个选项。这些项目记录了训练发生的家庭条件,并支持后来对参与者训练行为差异的解释。培训环节问卷中的菜单选项:
DeviceRoomLevelMoodHeadphonesSmallHighCalmTabletMediumMediumBoredOtherBigLowUpset
4.3. 刺激
标准的临床音高辨别测试通常使用纯音(Arzounian等人,2017年;Wagner等人,2021年)或1/3八度带宽噪声(Adel等人,2019年),然而这两种声音很少出现在日常的听觉环境中。在我们的研究中,选择了指数衰减的正弦波作为测试和训练的刺激,因为它们提供了清晰且可控的音高,同时比标准实验室音调更接近现实世界的声学现象。这一选择是基于之前在声音交互设计(Rocchesso & Fontana,2003年)、语音瞬态建模(Hermus等人,2005年)以及材料交互中的冲击声合成(Aramaki等人,2011年;Chatziioannou和van Walstijn,2015年)中的使用经验。因此,这有助于我们实现使用可控但仍然符合日常听觉环境的刺激来评估和训练音高感知的目标。
我们通过数字阻尼振荡器的脉冲响应获得了这些刺激,这种设计允许在运行时精确控制中心频率F0和衰减时间τ(Poli & Avanzini,2005年)。这些正弦波是使用声音编程软件Pure Data1和专用库libpd2(Brinkmann等人,2016年)实时合成的。图7(a)显示了一个F0=1000和τ=0.1的刺激的波形和频谱图。
为了在家中训练时使用的分心任务,准备了Roland TR-808鼓的样本复制品(Werner等人,2014年)。选择了一部分样本以最大化频谱内容和时间包络的差异,从而使分心任务保持感知上的独特性和吸引力。为了检查这些差异在人工耳蜗(CI)听觉条件下的意义,这些候选声音还经过了经典CI模拟器的处理(McDermott等人,1992年)。图7(b)展示了一个样本及其经过CI模拟处理后的频谱图。
下载:下载高分辨率图片(205KB)
下载:下载全尺寸图片(a)。F0=1000和τ=0.1的阻尼正弦波的波形和频谱图。
下载:下载高分辨率图片(263KB)
下载:下载全尺寸图片(b)。经过CI模拟处理后的合成TR-808小军鼓样本的波形和频谱图。
图7. 听觉刺激的波形和频谱。
4.4. 移动应用和设置
为iOS和Android平板电脑分别开发了两个移动应用,用于训练和评估的跨平台使用。这两个应用都依赖于与旧版平板电脑兼容的库,例如参与者所拥有的平板电脑。我们使用了iOS SDK提供的Swift和Objective-C,以及Android SDK提供的Kotlin和Java。我们在XCode 15.2上采用了SpriteKit3框架进行图形和动画渲染。Android版本的应用使用了AndroidX库和Android Studio Flamingo 2022.2.1 Beta 4中的Jetpack功能进行开发。在这两个应用中,Pure Data负责以48 kHz采样率提供运行时的声音合成。Pure Data插件通过libpd集成在两个应用中,libpd在Android和iOS上都可以运行:在Android上,libpd通过AudioTrack4和AudioManager5 API以及应用程序生命周期与音频系统交互;在iOS上,libpd通过AVAudioSession与Core Audio交互。
我们初步检查了在Apple iPad Pro 11英寸第三代256 GB和Samsung Galaxy Tab A8 64 GB上运行这些应用时没有明显的音频延迟。尽管在这样的设置中报告了大约50毫秒的偶尔延迟,但在音频对游戏机制至关重要的闭环交互中,这种延迟并没有显著降低参与度(Halbhuber等人,2022年)。最后,通过使用Eigen8和Boost9库的自定义C++函数实现了响度平衡的主动学习算法,并将其集成到评估应用中。
训练前后的测试评估中的音频是通过USB-C 3.5毫米插孔适配器从平板电脑发送到Antelope Zen Go Synergy Core USB声音接口的。模拟输出随后由RME Babyface Pro声卡放大。最终,刺激通过Sennheiser HD 600开放式耳机传递,该耳机的耐受范围为±2.5 dB SPL,峰值SPL为104 dB。这个峰值水平适应了参与者在响度平衡前的不同听力阈值。
在家中,没有规定特定的播放设备。参与者在完成会后问卷时报告了刺激的播放方式,从而记录了家庭听觉条件,而不是对其进行限制。
5. 程序
5.1. 训练前后的评估
在任务说明之后,参与者首先完成了响度平衡任务。辅助耳朵的SPL最初设置为50 dB,然后由参与者调整到舒适的水平。参与者通过反复点击GUI上的三个动画虚拟按钮来控制响度(见图8 - 左侧),这些按钮分别使SPL增加1或4 dB或减少1 dB。该GUI遵循第4.1.2节描述的空间-响度映射。
在最初的解释中,实验者明确鼓励参与者先过度调整再回调到偏好水平,以便他们熟悉响应机制。响度平衡阶段通常持续约10分钟,这与最近的计算机化高效程序(Serpanos & Gravel,2004年)一致,并且比更传统的适配协议(Cox等人,1997年)短得多。
然后参与者进行了适应性音高辨别任务,并可以选择参与分心任务。图8 - 中心显示了GUI的截图。两个弹跳的球形“弹珠”位于屏幕的两侧。弹珠在轨道上移动,屏幕无噪音地水平滚动。当它们弹跳时,相应的刺激会被呈现出来。当测试刺激被播放时,失控的弹珠会弹出屏幕。此时会出现一个问号和两个指向上下方向的箭头。一旦参与者熟悉了开始时介绍的空间-音高关联,他们就会根据以下问题做出决定:“弹珠是向上还是向下去了?”这种交互依赖于音高和垂直空间位置之间的众所周知的关联,即较高的音高通常被感知为“向上”,较低的音高被感知为“向下”(Cuturi等人,2019年)。如果答案正确,反馈会显示两个弹珠沿着同一轨道移动以及追逐者接近失控弹珠的动画;否则,会显示两条不同的轨道和更远的弹珠。为了增加参与度,得分计数器会记录每个参与者每次正确答案时获得的草莓数量(Nicholson,2015年)。
关于分心任务,参与者点击一个图标:同一个声音用一个伞形图标表示,不同的声音用一对鳍状图标表示。
最后,实验者和参与者的家长一起讨论了结果,并帮助完成了问卷的填写。在填写问卷的过程中,大多数幼儿得到了实验者、一位家长或语言治疗师的协助。数据被收集并保存在设备上,进行了匿名处理,然后传输到实验者的笔记本电脑上,这符合第3节中概述的GDPR合规的本地数据管理策略。图8 - 右侧展示了一个孩子进行评估的示例。
下载:下载高分辨率图片(284KB)
下载:下载全尺寸图片
图8. 音高辨别应用:(左) 响度平衡GUI;(中) 音高辨别GUI;(右) 使用SSD-CI进行评估的儿童。
5.2. 在家中的训练
训练在家中进行,地点由参与者及其家人选择的安静房间决定。每个参与者单独设置音量水平。每个游戏环节包括四次音高识别尝试,中间穿插三次分心任务。在家中的训练至少每周进行一次游戏,持续一周。当收集到至少三个游戏结果时,训练就完成了。每个参与者被指示至少玩七天,最多玩十二天。
图9 - 左侧显示的GUI呈现了一个由N个垫子组成的直线网格,每个垫子在被点击时都会播放一个特定频率的刺激,类似于音乐软件键盘。相应刺激的频率范围始终从500 Hz(最左侧的垫子)到4 kHz(最右侧的垫子):在划分为N个垫子的网格中,从左侧数第n+1个垫子播放一个中心频率为F0=500×2^3n/(N?1)Hz的阻尼正弦波,n=0,…,N?1。为了保持一致的视听语义,网格用彩虹色编码,红色代表最低的中心频率,紫色代表最高的中心频率。
任务包括听一个从N个可能的阻尼正弦波中随机选择的参考刺激,并自由点击垫子直到识别出播放相同刺激的垫子。在任务过程中,可以通过一个专用的黑色按钮随时重新播放参考刺激。还可以通过触摸屏上的“捏合缩放”手势水平缩放网格,以生成更密集的垫子,从而实现更精细的辨别——这是一种支持探索、主动性和直接操作的原生手势(Hourcade,2022年)。缩放会使网格上的每个垫子复制,如果进一步捏合,则会使每个垫子的频率逐渐靠近。
下载:下载高分辨率图片(294KB)
下载:下载全尺寸图片
图9. 培训音高识别应用:(左) 音高识别GUI;(中) 分心任务GUI;(右) 使用NH设备进行训练的儿童。
每次尝试包含五个难度逐渐增加的任务,初始时(即缩放之前)每个网格包含3到7个垫子。每个正确的识别会获得10分,最高分会被保存并在主页上显示。
分心任务在游戏环节中出现了三次,每次的节奏逐渐从70贝兹增加到100贝兹。每次同步良好的点击都会获得一分,计入总分。相应的GUI显示在图9 - 中心。最后,参与者回答了表3中显示的问卷。
6. 数据分析
评估和训练应用将所有交互记录在日志文件中。对于训练前后的评估,应用记录了每个MCL、对侧耳朵的插值轮廓以及频率辨别阈值。阈值以百分比收集并映射到对数尺度上。
使用Shapiro–Wilk测试(Gupta等人,2019年)检查数据的正态性,使用Levene测试(Brown & Forsythe,1974年)检查方差的同质性。如果数据呈正态分布且满足同方差性,我们继续进行t检验;否则,我们选择Wilcoxon秩和检验。在比较两个群体的阈值时,使用了Mann–Whitney U秩检验。我们计算了每个检验的效果量和统计功效,并使用Benjamini–Hochberg程序(Benjamini & Hochberg,1995年)校正了多重比较的p值。
从训练前的阈值出发,我们计算了每个辨别区间围绕相应参考刺激的边缘频率。在训练期间需要识别的刺激数量定义为“训练强度”。通过总结所有游戏中的训练强度,我们量化了每个参与者对每个参考刺激的不同训练量。根据这个定义,参与者的辨别能力越强,训练强度就越小。图10展示了一个涉及一个NH和一个SSD-CI听者的示例。
我们拟合了一个广义线性模型来评估训练对音高辨别的贡献,通过检查训练后的阈值作为训练前阈值的函数。我们比较了一系列复杂度递增的嵌套模型(M0:仅包含训练前阈值的基线ANCOVA;M1:添加了Group项;M2:添加了Train项;M3:添加了Group × Train交互项)来评估捕捉训练和群体成员效应所需的项。在完整模型中包括了Group × Train项,以测试SSD-CI和NH听者的训练收益是否不同:(1) Post=β0+β1×Pre+β2×Group+β3×Train+β4×Group×Train。
我们采用了具有恒等链接函数的高斯分布族,并在将训练后阈值转换为正值后,采用了具有对数链接函数的Gamma分布族。为了评估模型的充分性和避免过拟合,我们检查了残差(Shapiro–Wilk检验)(McCullagh & Nelder, 2019),计算了Cook距离以检测有影响力的案例(Cook, 1977),并使用两种与受试者无关的策略对模型进行了验证:80/20保留分割法和留一法(LOSO)交叉验证。我们还估计了稳健标准误差(HC3 (Long & Ervin, 2000))和按受试者分组的群集稳健标准误差(Huang & Li, 2021)),拟合了Huber稳健回归(Huber, 1964),并将结果与包括按受试者分组的随机截距的混合效应模型进行了比较。临床限制本身无法消除,但其手动实施对于儿童参与者来说难以持续:传统的心理声学实验可能持续大约一小时或更长时间(Brockmeier等人,2011年;Litovsky等人,2006年),而学龄儿童在认知要求较高的任务中的持续注意力通常在20到40分钟之间,具体取决于年龄(Mahone和Schneider,2012年;Simon等人,2023年)。引入了一种数据驱动的主动学习程序来估计响度轮廓,能够在保持等响度条件的同时,通过有限的成对比较进行校准。在这种情况下,稳定性的实现不是通过消除心理物理限制,而是通过重新分配其执行方式:校准仍然基于听众的判断,而主动学习程序逐步估计响度轮廓并减少了所需的手动调整。其他协商涉及将心理物理结构转化为视觉交互隐喻。辨别程序需要在对称的视觉条件下依次呈现两个声学刺激,以防止空间线索影响音高判断。早期的设计探索试图将这种结构嵌入受街机游戏启发的更动态的界面中。这些原型与实验任务所需的中立性不兼容:视觉运动模式和不对称布局有可能引入感知偏差(Marks等人,2003年;Spence,2011年)。因此,最终的基于弹珠的横向滚动交互是在心理物理严谨性和保持参与度需求之间的折中。移动的对象提供了时间结构,并通过可收集的物品和分数增加提供基于奖励的反馈,而视觉布局保持了对称性,从而使辨别任务保持无偏。在这个意义上,该界面不仅仅是将实验“游戏化”,而是将受控的听力程序转化为一种能够维持重复试验中参与度的交互格式,这与基于游戏的交互结构可以维持用户动机和参与结构化任务的证据一致(Deterding等人,2011年;Hamari等人,2014年)。在培训活动的设计中也发生了类似的转化。彩虹键盘界面同时借鉴了音乐键盘和频谱可视化——这些表示法对临床医生和音频研究人员来说是熟悉的。尽管这些隐喻最初并不是与儿童共同设计的,但它们的可用性是通过迭代测试会话逐渐显现出来的,在这些会话中,临床医生和治疗师评估了映射是否对年轻参与者来说仍然可以理解。在早期的评估会话中,一些儿童在执行辨别任务时自发地哼唱音调。这种行为表明参与者在内部排练音高关系,说明界面的视觉和时间组织支持了任务理解。同时,犹豫和反思性的反应模式揭示了辨别程序需要持续的认知努力。这些观察结果导致了引入了包含更多主动交互结构的补充培训活动,包括节奏干扰游戏。在这种情况下,设计轨迹较少受到理论偏好的影响,而是受到实际需求的影响,即需要平衡评估任务的认知要求。
并非所有的设计路径都收敛到了最终系统。一个例子是关于直接通过CI音频输入传递刺激的可能性。从信号处理的角度来看,这个选项将对到达植入物的信号提供更严格的实验控制。然而,直接输入与项目保持临床评估和日常听力条件之间的生态连续性的目标相冲突。它将引入儿童在实验室环境之外通常不会遇到的额外硬件依赖性和听力配置。尽管技术上是可行的,但这个选项因此被放弃,转而采用声学播放,这保持了SSD-CI听众的日常听觉生态。这个决定说明了技术上可行的方向可能与更广泛的部署目标相冲突。在听力环境层面也发生了协商。临床CI测试通常使用开放式场扬声器播放而不是耳机。然而,在家庭训练会话中,一些参与者自发地选择了使用耳机(见图14)。这种行为是出乎意料的,但它揭示了儿童在日常数字环境中如何与听觉刺激互动,暴露了一个只能在诊所之外出现的生态变异性维度。培训应用程序适应了这种变异性,而评估程序保持了更严格的呈现限制,以保持测量的可靠性。另一个挑战涉及设计师和CI用户之间的感知差距。CI听觉与正常听觉感知有很大不同,这使得研究人员难以预测声学刺激将通过植入物如何被表示。采用了两种互补策略来减少这种差距。CI模拟器(McDermott等人,1992年)在干扰任务中指导刺激选择,确保它们在模拟CI处理后可以被区分开来。同时,在试点会话中观察到的行为痕迹提供了对儿童感知参与的间接洞察。预训练的电音高辨别阈值呈现出四分之三个八度的变化(Brockmeier等人,2011年),平均值略低于一个八度。这些结果与我们文献中发现的阈值相比,显示了我们音高辨别应用程序的可靠性(Brockmeier等人,2011年;Bruns等人,2016年)。培训将SSD-CI的阈值平均值减半,并将变化减少到略少于五个半音,这两个结果都是有价值的。同样,NH听众的阈值也在文献中报告的范围内,即使用纯音作为刺激时在了一个和两个半音之间(Zarate等人,2012年)。我们注意到,在测试时没有参与者正在参加音乐教育项目;只有一名NH听众有之前的音乐训练。尽管如此,对照组也有显著的改善。SSD-CI参与者在训练前后的阈值都高于NH听众,这证实了他们在辨别音高方面的困难。这种两组之间的差异在训练后仍然存在,突显了前者群体处理任务的持续挑战。尽管如此,听觉训练显著减少了这一差距;我们观察到NH听众训练前后的阈值差异效应大小减少了15.56%。图11(b)中的图表显示,大多数观察结果都在对角线以下,表明了群体层面的下降趋势。重要的是,SSD-CI的个体反应是异质的,少数明显的恶化抵消了许多较小的改善。虽然描述性分析和箱形图表明训练后阈值普遍降低,但回归分析提供了更细致的视图。回归分析进一步澄清了这些模式。广义线性模型突出了训练前阈值和训练后阈值之间的关系。如图11(b)所示,训练后的阈值是训练前阈值的增函数。一半的NH听众的阈值和几乎四分之三的SSD-CI听众的阈值降低了。在回归框架中,训练前的能力成为训练后阈值最一致的预测因素,而训练和群体的主效应并不显著。Group × Train交互在高斯模型中是显著的,但稳健性检查和敏感性分析表明这种效应很脆弱,受到一名SSD-CI参与者的强烈影响。相反,结果突显了SSD-CI反应的显著异质性,一些儿童有显著的改善,而其他儿童的改善则不那么明显。Gamma模型在样本内提供了可比的拟合统计,但未能在跨受试者中推广,这提示在解释训练效果时需要谨慎。这些发现支持使用与精准康复原则相一致的个性化听觉训练方法。在当前系统中,个性化是选择性地引入的:在提高测量效率的地方应用了自动化适应——例如个性化响度校准和自适应试验排序——而训练交互保留了儿童进行探索性操作的机会(Hourcade,2022年)。这种平衡使系统在保持心理物理有效性的同时,保留了训练活动中的交互自由。例如,最近在CI研究中的工作强调了向个性化诊断和编程的转变,以克服一刀切方法的局限性(例如,CI护理的精准医疗方法(Kim & Choi,2022年))。此外,在单侧耳聋使用CI的情况下,已经明确建议使用定制的频率映射和适应性训练方案来提高一致性和用户满意度(Lin等人,2025年)。“听觉数字孪生”的概念进一步强调了个性化计算模型如何帮助我们跟踪和预测每个用户的独特听觉轨迹(Geronazzo & Serafin,2023年)。尽管许多CI结果研究依赖于群体层面的统计,但关于听力设备和HCI/CCI方法的更广泛文献表明,混合方法设计和参与式个性化策略可以帮助将群体趋势转化为稳健的个体收益(例如,通过捕捉定性洞察、根据用户目标进行定制以及动态调整训练)(Baykal等人,2023年)。上述考虑需要进一步分析模拟CI后处理后刺激的频谱特性(McDermott等人,1992年)。如图15所示的例子所示,属于不同中心频率的两种刺激的两个不同峰值通过CI处理被转换为“梳子”成分,这些成分在相同的频率区间内具有不同的幅度差异。因此,在电音高解码过程中的主要工作将变成区分这些差异并将它们映射到一个明确的单耳音高线索。这一考虑与之前的发现相呼应,即CI听众在语音理解(Peng等人,2012年)和声源定位(Gulli等人,2024年)期间主要依赖强度线索。因此,训练双耳音高感知可能会为SSD-CI听众的听觉记忆提供更强大的音高意象,通过有序元素将电信号与声学线索联系起来,这些元素可以与梳子和它们的个别幅度相对应。问卷调查的结果表明,游戏化对培训有益。NASA RTLX的得分表明心理需求适中,努力程度可控,而UEQ-S的反馈表明对刺激和可用性的评价积极。会话期间的非正式观察进一步揭示了强烈的参与行为:我们注意到儿童在轮次之间比较分数,在错误回答后表达沮丧,并庆祝成功的试验。没有参与者报告认为培训是负担。这些反应表明,嵌入在交互中的激励结构使儿童能够在不觉得活动负担重的情况下完成重复的心理物理试验。
尽管如此,参与过程在设计者和参与者之间产生了相互学习的形式。在诸如人工耳蜗植入这样的康复环境中,这种交流尤为重要:培训活动让儿童接触到感知挑战,而迭代设计使研究人员能够相应地调整任务和界面。因此,由此产生的生态系统不仅作为康复干预措施发挥作用,还作为一种调查工具,通过它感知理解和交互设计共同进化,呼应了通过设计进行声音交互研究的方法(Privitera & Geronazzo,2024年)。遵循这一设计过程,培训结果提供了证据,表明稳定的配置实现了其主要目标:使儿童能够在不放弃心理物理有效性的情况下进行重复的音高辨别试验。尽管有这些改进,SSD-CI参与者仍然表现出比NH听众更高的阈值,这证实了与电音高感知相关的持续感知挑战。当前研究的主要限制在于SSD-CI参与者的数量较少。然而,即使达到这个样本量也是一个挑战,因为用于实验的SSD-CI个体的可用性相当有限且逐渐减少,这也由于儿童中双侧CI植入数量的增加(Nassiri等人,2023年)。此外,没有报告每个参与者的听力数据,也没有报告听力病理情况。这些数据本可以用来划分SSD-CI组,并检查音高辨别增强是否与特定的听力障碍有关。其他听力障碍可能导致个性化的培训程序。第二个限制涉及个体差异的可解释性。培训暴露的细节不够充分,可能掩盖了个体反应性的一部分变异性。更一般地说,因为干预结合了几个元素——适应性校准、重复的辨别评估、生态家庭部署和基于游戏的交互——当前研究无法隔离每个因素对观察到的改进的具体贡献。特别是,目前尚不清楚结果中有多少与培训活动本身、重复的任务暴露或参与者与家庭设置的互动方式有关。需要一项深入的研究来评估主动学习响度平衡程序的速度、有效性和可靠性,并将其与其他临床程序进行比较。心理物理约束也代表了一种限制:我们通过将每次刺激的自适应过程限制在七次迭代之间,在准确性和会话时间之间做出了折中,这一选择可能会增加儿童的测量误差。仍有待验证的是,在不超出儿童典型注意力范围的情况下,是否可以使用更长的自适应序列进行儿科测试,因为儿童的注意力范围通常对心理物理测试存在实际限制(Witton等人,2017年)。更一般地说,数据驱动方法在听力学中的优势和局限性需要进一步研究。关于声音和图形设计,同步的多模态元素在语义上可以改进。尽管声学刺激具有生态有效性,并且没有参与者对此提出问题,但一个弹珠在沙轨上跳跃不太可能产生如此尖锐的脉冲声。不同的设计选择(例如,在冬季场景中使用冰轨)可能会提供更加语义一致的体验。
9. 结论与未来方向
本研究提出了一个针对单侧耳聋儿童和人工耳蜗植入者的音高辨别训练-评估生态系统,展示了如何将基于临床的心理物理程序转化为可在日常环境中使用的以儿童为中心的交互系统。这两个移动应用程序通过直观的游戏机制、用于快速估计等响度轮廓的高斯过程以及自适应心理测量技术,提供了一种用户友好且有效的音高感知评估和提升方法。通过对NH参与者和单侧人工耳蜗植入儿童的实验,证明了这种方法的可行性,并提供了初步证据表明这些系统可以支持临床可解释的评估和儿科人群的重复听觉训练。测得的阈值与现有文献一致,表明该测试应用程序具有提供准确评估的潜力。训练后的测量结果显示两组儿童的辨别阈值都有所降低,尽管个体反应存在差异,这反映了人工耳蜗植入结果的典型变异性。
这项工作的一个关键发现是,基于游戏的交互结构可以使复杂的心理物理程序对儿童来说变得可行,同时不改变评估的方法学有效性。奖励机制、探索性交互和多模态表示的设计不仅仅是为了提高参与度,而且是为了在保持固定刺激呈现和响应范式的同时,支持重复的感知试验。从这个意义上说,游戏化作为一种支持层,使得在儿科环境中进行严格的听觉实验成为可能。
未来的工作将优先考虑对响度平衡程序的专门研究,并可能考虑在为CI用户定制的音高辨别测试中使用额外的刺激,例如脉冲扩散谐波复合体(Mesnildrey等人,2016年)。特别是,需要进一步的工作来评估主动学习响度校准程序的速度、可靠性和与现有听力学协议的临床可比性。此外,将我们的实验方法与使用语音刺激的训练前和训练后听力测量相结合,将提供对开发出的应用程序的有效性和实用性的更全面评估(Fu等人,2004年)。从CCI的角度来看,未来的工作还应强调对训练路径的个性化,以考虑儿科CI结果的显著个体差异,并采用结合临床指标与儿童、家庭和治疗师定性见解的混合方法。这种双重策略将使我们能够超越群体层面的结果,更好地捕捉年轻CI用户的生态有效性和实际体验。
详细了解音高辨别能力的提高如何转化为有效的沟通技能是至关重要的。训练后的语音噪声测试活动(Zaltz等人,2020年)可能会揭示音高辨别能力提高的更广泛益处。此外,观察参与者在实验期后是否继续使用训练应用程序,可以提供关于感知改进的中期保持情况以及持续训练在维持稳定表现水平方面的作用的见解。最后,未来的工作将解决不同用户群体的不同需求和体验问题,正如参与者之间观察到的主观工作量和用户体验差异所表明的那样。因此,需要进一步的研究来完善听觉训练范式及其交互设计,同时考虑用户的反馈以及人工耳蜗植入下听觉感知的更复杂性问题。
CRediT作者贡献声明
Andrea Gulli:写作——审阅与编辑、写作——原始草稿、可视化、软件、方法论、研究、数据管理、概念化。
Michele Geronazzo:写作——审阅与编辑、可视化、验证、监督、方法论、研究、资金获取、正式分析、概念化。
Federico Fontana:写作——审阅与编辑、监督、正式分析、概念化。
Hanna J?rvel?inen:写作——审阅与编辑、验证、监督、方法论、正式分析。
Enrico Muzzi:验证、监督。
Roberta Rebesco:监督、方法论。
Eva Orzan:验证、监督、资源。
伦理批准
该测试协议于2023年8月31日获得了基于?匿名化以供审查?的伦理委员会的批准,遵循《赫尔辛基宣言》。所有参与者均来自位于?匿名化以供审查?的儿童和成人多学科康复和培训中心。每位参与者都获得了书面知情同意书。如果他们是未成年人,则从他们的父母那里获得了同意书。
关于写作过程中生成式AI和AI辅助技术的声明
作者使用了ChatGPT(GPT-5,OpenAI)来辅助准备这份手稿。具体来说,它被用来提高文本的清晰度和流畅性,帮助起草对审稿人的回复,并检查修订版之间的一致性。AI没有用于数据分析、实验设计或科学结果的生成。所有内容都经过了作者的严格审查、编辑和批准,作者对手稿负全责。
资金支持
这项工作得到了?匿名化以供审查?的支持。