TSMSPL：一种基于三分法子集与自学习的新生儿疼痛评估模型

《Biomedical Signal Processing and Control》：TSMSPL: A three-classification neonatal pain assessment model based on tripartite subsets and self-learning

　　缪瑞|黄庆华|罗业芳|胡明月|董子涵|邓仁利中国遵义医科大学珠海校区基础教学部摘要世界卫生组织将疼痛视为“第五大生命体征”。研究表明，评估新生儿疼痛对于预防儿童疾病具有重要意义。目前，相关研究面临四大挑战：缺乏高质量的新生儿疼痛视频评估数据集、数据中存在噪声标签、难以区分干净数据、含噪声数据以及难处理数据，同时还缺乏高性能的预测模型。为解决这些问题，我们设计了一项实验，利用中国402名新生儿的视频数据构建了新的新生儿疼痛数据集，并提出了一种三分类新生儿疼痛评估模型（TSMSPL），该模型包含三元组划分模块、双模型训练优化模块以及融合预测模块。三元组划分模块用于解决干净数据、含噪声数据及难处理数据的划分问题；双模型训练优化模块用于解决数据噪声标签问题；而融合预测模块则用于解决数据融合问题。此外，我们还开发了一种改进版的视频Swin Transformer模型，以更精准地评估新生儿疼痛程度。将该模型与五种最先进的视频分类模型以及两种噪声标签优化框架进行比较后发现，TSMSPL在准确率、精确率、召回率及F1值方面分别达到0.93、0.94、0.94和0.93，性能优于其他模型。TSMSPL是首个基于视频的三分类新生儿疼痛评估模型。我们认为，该模型有望成为帮助临床医生快速评估新生儿疼痛程度的实用工具。引言世界卫生组织将疼痛列为“第五重要的生命体征”[1]。新生儿疼痛通常由多种因素引发，包括医疗干预、先天性疾病以及外伤等[2]。研究表明，新生儿重症监护室中的新生儿每天要接受十余种可能带来疼痛的操作，如气管插管、静脉采血等[3]。此外，肠套叠、胃肠道穿孔、肛裂等先天性疾病也会引发疼痛。早期的疼痛经历会对新生儿的代谢、大脑发育以及应激反应系统产生即时且长期的影响[4][5]。在这一关键时期反复经历疼痛可能会导致不良后果[5]。尽管新生儿疼痛十分重要，但往往被忽视。传统的基于行为量表和生理指标的评估方法由于个体差异、环境因素以及临床经验的不同，可能存在主观性且结果不一致[6][7]。此外，人工评估既耗时又耗费资源，难以获得一致且精确的结果[2]。先前的研究表明，基于人工智能构建模型可以实现客观且实时的新生儿疼痛评估。与人工评估相比，人工智能模型能够更准确、更客观地判断新生儿疼痛程度[8][9]。结合动作捕捉摄像头设备，人工智能新生儿疼痛评估模型可以实时捕捉新生儿的面部表情和肢体运动数据，实现24小时自动疼痛检测，从而进行长期医院监测。在早期研究阶段（2008年至2022年），卢等人提出了几种基于Gabor小波变换和支持向量机算法的新生儿疼痛评估模型。然而，这些基于传统机器学习的模型在处理高维度、动态视频数据时存在明显瓶颈，它们通常依赖手工设计的特征，难以捕捉新生儿疼痛表情和肢体运动中复杂的非线性时间动态特征。在实际应用中，新生儿疼痛视频往往极为复杂，因为疼痛信号可能时有时无且不连续，还常常受到手部遮挡等噪声的干扰。为克服这些限制，深度学习方法，尤其是为视频序列设计的先进架构，展现出了其必要性和显著优势。深度学习模型能够自动从数据中学习特征，无需人工进行特征工程。例如，视频Swin Transformer这类模型具备强大的长距离时间依赖关系建模能力，使得模型在处理每一帧图像时都能考虑整个视频序列的信息，从而有效捕捉贯穿整个疼痛事件的关键全局依赖关系，精准识别定义疼痛状态的复杂时空模式。比如，秦军等人于2025年提出的Video swin-CLSTM transformer是对这一架构的改进，成功实现了复杂场景下的人体动作识别[10]。2025年，宋欣等人提出了Video Mamba++，它是状态空间模型（Mamba）架构的改进版本。该模型通过整合双重注意力机制和门控补丁卷积，解决了原始模型在处理视频时存在的空间关系丢失以及缺乏通道注意力等问题，进一步提升了视频理解能力。这些前沿进展表明，深度学习是目前处理复杂视频序列数据并实现精准新生儿疼痛评估的最有效途径[11]。然而，在构建基于人工智能的新生儿疼痛分级模型方面仍存在四大挑战[12][13]。首先，缺乏高质量的多分类新生儿全身疼痛视频评估数据集[14][15]。目前大多数用于新生儿疼痛评估的数据集都是基于面部图像，仅有少数基于视频数据，而且现有的疼痛评估数据集并未考虑肢体特征。例如，Salekin等人于2021年创建的USF-MNPAD-I数据集[16]就是如此。但在实际临床诊断中，医生必须根据面部和肢体特征等多模态特征全面判断新生儿的疼痛反应程度[17]。因此，现有的新生儿疼痛数据集不足以帮助研究人员构建高性能的疼痛反应模型。第二个挑战是如何解决新生儿疼痛视频数据集中的噪声标签问题[18]。由于临床操作中的遮挡等因素，新生儿疼痛数据集的构建过程中不可避免地会出现噪声标签[19][14][20]。先前的研究表明，含有噪声标签的样本会显著降低人工智能模型的性能[21]。尽管研究人员提出了多种噪声样本优化方法，但目前这些方法仍无法很好地训练难处理样本，即那些接近决策边界、难以正常分类的样本[22]。第三，如何合理划分含噪声数据子集。区分不同类型的噪声子集是解决样本质量问题的优化框架的基础[23]。与传统图像数据不同，新生儿疼痛相关的视频数据更为复杂，研究人员很难手动对样本集进行划分[18][24]。因此，设计用于划分样本集的算法是研究人员面临的主要挑战之一[14]。尤其是合理区分噪声子集和难处理子集，是三重优化框架的核心内容。第四，目前尚未建立高性能的多分类新生儿疼痛预测模型。现有研究大多将疼痛分为轻度和重度两类[25]，但二元分类无法全面反映儿童的疼痛状况，也无法满足临床疼痛评估的需求[26][27]。在临床环境中，医生至少需要区分轻度、中度和重度三种疼痛程度[28]。鉴于临床实践的迫切需求，构建多分类新生儿疼痛检测模型显得尤为重要[29]。为解决这些问题，我们从遵义医科大学第一附属医院收集了402名新生儿的视频数据，构建了一个包含三类分类标准的新生儿疼痛评估数据集。该数据集包含了新生儿完整的面部表情和身体运动数据，能够将新生儿疼痛分为轻度、中度或重度三类。此外，我们还提出了一种基于三重子集划分和自学习的三分类新生儿疼痛评估模型（TSMSPL）。该模型由三个主要模块组成，分别是三重划分模块、基于自适应学习的双模型训练优化模块以及融合预测模块。在三重划分模块中，我们提出了一种基于深度学习的算法，用于提取每段视频的关键特征，并通过对样本进行特征聚类来实现三重划分。随后，我们设计了一种基于距离的子集划分方法，该方法比传统的基于损失函数的子集分类方法更加稳定且高效。在双模型训练优化模块中，我们首先基于干净数据和含噪声数据构建了第一个训练模型，并使用自适应学习框架对该模型进行优化；随后又为难处理数据构建了第二个独立的训练模型。最后，我们基于这两个模型训练优化模块的隐藏层特征构建了融合预测模块。此外，我们还提出了一种改进版的视频Swin Transformer（IVST）模型，该模型能够更精准地区分新生儿的疼痛程度（见图1）。本研究的主要贡献如下：•构建了一个全新的包含面部表情和肢体运动信息的三类分类数据集，为开发高性能新生儿疼痛评估模型提供了基础。•提出了一种基于深度学习隐藏层聚类的三重划分方法，能够更合理地区分三类数据子集。•提出了一种结合自适应学习框架的双模型训练优化框架，用于解决数据集中噪声标签带来的问题。•提出了一种能够解决新生儿疼痛视频中噪声不一致问题的IVST模型。•提出了一种具有优异性能的开创性多中心新生儿疼痛评估模型——TSMSPL，该模型代表了临床新生儿评估领域的重要进步。实验结果表明，TSMSPL模型在新生儿疼痛评估中的准确率达到了95%，其性能明显优于现有的视频分类模型。相关研究以往已有研究提出了用于新生儿疼痛评估的数据集[30]。虽然基于视频的数据集在手术流程分析、步态分析等众多生物医学领域中已被广泛应用，用于捕捉复杂的动态过程，但其在新生儿疼痛评估领域的应用尚不成熟。Salekin等人于2023年构建了首个多模态新生儿疼痛数据集[30]，该数据集仅收集了58名新生儿（胎龄为27至41周）在……期间的数据。参与者数据收集工作是在遵义医科大学附属医院进行的。我们招募了2023年1月至8月期间入住新生儿重症监护室的214名新生儿作为训练数据集的样本（A组），以及2023年9月至12月期间的188名新生儿作为验证数据集的样本（B组）。整个研究群体共有402名参与者（男性200名，女性202名；年龄范围为0至28天）。我们收集了包括性别、胎龄、出生体重以及接受过多少次疼痛诱发操作等信息。结果为了严格验证所提出的TSMSPL模型的有效性，我们设计了多层次的实验验证策略。本研究旨在评估新生儿重症监护室中新生儿的疼痛程度。根据新生儿疼痛评分标准，我们将疼痛程度分为轻度、中度和重度三类。首先，我们对TSMSPL模型进行了全面的内在性能评估，计算了包括准确率、精确率在内的核心分类指标。讨论与结论TSMSPL是一种基于正则化理论和深度学习的新型新生儿疼痛评估模型。在本研究中，我们使用了两个独立的数据集通过消融实验和可视化分析来进行模型训练、测试和验证。共通过五项独立实验对TSMSPL模型的性能进行了验证。消融研究证明了我们所做的模型改进措施——即添加三类子集、采用自适应学习框架以及IVST模型——的有效性，这些改进提升了模型的准确率和灵敏度。代码可用性TSMSPL模型的Python代码包可在https://github.com/mr1528126360/TSMSPL处获取。CRediT作者贡献说明缪瑞：撰写——审稿与编辑、撰写——初稿、软件开发、形式分析。黄庆华：撰写——审稿与编辑、软件开发、数据整理。罗业芳：数据整理。胡明月：撰写——审稿与编辑。董子涵：撰写——审稿与编辑。邓仁利：撰写——审稿与编辑、撰写——初稿。利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。致谢本研究得到了国家科技创新2030重大专项——非传染性疾病国家科技重大专项（项目编号N0.2024ZD0524300.2024ZD0524304）、贵州省科技合作平台人才计划（项目编号CXTD[2023]028）（项目编号QKHRC-CXTD〔2025〕046）、贵州省科技支撑计划（项目编号QKH Support 2026 General 338）以及贵州省科学技术协会青年英才提升计划的支持。