一种基于运动学引导的双分支框架，用于评估帕金森病患者在从坐姿到站姿任务中的表现

《Engineering Applications of Artificial Intelligence》：A kinematic-guided dual-branch framework for Parkinson’s disease assessment in sit-to-stand tasks

帕金森病坐站任务自动化评估框架，结合动态图时空建模与症状导向特征聚合，通过对比学习提升环境鲁棒性，实验验证准确率达77.94%，临床相关性显著（p<0.001）。

　　

Jieming Zhang | Tai-Myoung Chung | Hogun Park

韩国成均馆大学计算机科学与工程系

摘要

最近关于帕金森病（PD）自动坐立转换（STS）评估的研究几乎都仅在实验室环境中进行，这限制了其在涉及多种运动和细微严重程度差异的日常环境中的应用。为了解决这一难题，我们提出了Kinematic-Guided Assessment（KiGA），这是一种基于视频的自动STS严重程度评估的新框架，适用于现实世界条件。第一个分支是一个动态的基于图的空间时间网络，它利用自适应空间学习和多尺度时间卷积来捕捉关节运动的复杂协调变化。同时运行的第二个分支聚合了与临床标准明确对应的症状驱动的运动特征，从而提供了四个关键运动领域的稳健现实世界估计——姿势稳定性、身体运动迟缓、腿部僵硬和手臂僵硬。此外，我们设计了一种特定类别的对比学习策略，以增强在不同环境变化下的空间时间特征区分能力。在真实世界数据上的全面实验表明，我们的框架具有77.94%的准确率和89.68%的可接受准确率，并且在不同的摄像机视角下表现出一致的性能，显著优于现有方法。统计分析验证了提取的运动特征的临床相关性，大多数特征具有很高的统计显著性。

引言

帕金森病（PD）是一种进行性神经退行性疾病，严重影响患者的运动功能和生活质量。由运动障碍协会赞助的统一帕金森病评分量表（MDS-UPDRS）是评估PD严重程度和进展的临床金标准（Goetz等人，2008年）。在该量表中，坐立转换（STS）运动评估是一个特别关键的组成部分，因为它通过一个常见的日常活动全面捕捉了多种运动障碍方面。

STS运动涉及多个身体部位的复杂协调，需要适当的平衡控制、肌肉力量和关节灵活性。对于PD患者来说，由于各种运动症状（包括运动迟缓、僵硬和姿势不稳定），这项任务变得特别具有挑战性。Huang等人（2024年）观察到，在STS运动过程中姿势转换的微妙变化可以反映功能下降的显著变化。当前的临床实践在STS评估方面面临重大挑战：手动评估需要训练有素和经验丰富的神经科医生，但仍存在评分者间差异；而全面评估需要同时观察多个运动组成部分，这既耗时又受限于人类因素（Van Lummel等人，2016年；de Deus Fonticoba等人，2019年）。

为了解决这些限制，并受到自动化PD运动评估技术进步的启发（Morgan等人，2023a；Zhang等人，2023a；Zhang等人，2023a），研究人员探索了使用基于传感器和基于视觉的方法进行自动STS评估（Goyal等人，2020年；Gon?alves等人，2025年）。基于传感器的方法通过由惯性测量单元组成的身体传感器网络在STS分析中显示出潜力（Giuberti等人，2015年；Parisi等人，2015年；Marin等人，2022年）。这些系统可以在STS转换期间提取运动特征，捕捉关于角速度、加速度和运动持续时间的详细参数，Giuberti等人（2015年）和Parisi等人（2015年）使用PCA结合KNN分类器进行严重程度分类。然而，这些方法在临床应用中存在实际限制。传感器必须精确放置在患者身上，可能会影响自然运动模式，并且需要定期校准以保持准确性。这些因素降低了患者的依从性，并限制了其在非临床环境中的广泛采用。

基于视觉的评估提供了一种有前景的非侵入性替代方案，克服了基于传感器方法的许多限制。最初，使用专用摄像机的标记基运动捕捉系统被提出作为基于视觉的运动分析的早期尝试（Banerjee等人，2013年），但它们仍然需要受控的实验室环境和繁琐的设置程序。计算机视觉的最新进展，特别是在人体姿态估计和动作识别方面，为STS分析创造了新的机会。Yan等人（2018年）引入了时空图卷积网络（STGCNs），有效地模拟了骨骼运动数据中的时空依赖性。然而，开发有效的基于视觉的STS评估系统仍然具有挑战性。Morinan等人（2022年）尝试使用消费级相机进行STS分析，但获得可靠结果仍需要手动标注，限制了其临床应用性。Mehta等人（2021年）提出从2D坐标数据估计3D坐标用于STS分析，但这显著增加了模型的复杂性和计算要求。虽然Guo等人（2022年）使用自监督多模态图卷积网络（SSM-GCN）实现了70.60%的当前最佳准确率，但他们的评估仍局限于受控的实验室环境，并未解决现实世界的部署问题。

因此，我们在这项工作中致力于开发一个自动化的基于视觉的STS评估框架，但仍面临以下三个挑战：（1）关节运动和协调的复杂变化。在STS运动过程中，不同的身体部位（手臂、腿部、躯干和头部）必须以协调的方式协同工作。每个关节的运动范围、速度和流畅性可能会有所不同，特别是在PD患者中，不同身体部位的损伤程度可能不同。这些变化在不受控制的环境中更加明显。挑战在于捕捉不同身体部分之间的协调关系以及每个关节的个体运动特征，特别是当患者由于PD症状表现出不对称或补偿性运动模式时。（2）现实世界条件下的细微严重程度差异。如图1所示，与受控的实验室环境不同，现实世界的自由生活视频展示了多样的摄像机视角。这些可变的视角加上严重程度级别之间的细微差异，要求特征提取方法能够稳健地捕捉细微差异。挑战在于尽管存在这些环境变化，仍能可靠地区分相邻的严重程度级别。（3）在利用先进深度学习的同时保持临床相关性。尽管深度神经网络能够实现强大的时空建模，但实际应用要求特征与既定的评估协议保持一致。

为了解决这些挑战，我们提出了KiGA（Kinematic-Guided Assessment），这是一种基于视频的自动STS严重程度评估的新框架，适用于现实世界条件。我们的框架独特地结合了基于深度学习的时空建模和基于临床的信息的运动特征分析，通过三个关键创新：

（1）提出了一个动态的基于图的空间时间学习分支，它结合了自适应空间学习和多尺度时间卷积操作来处理原始骨骼序列数据，并通过有效提取视频中的时空细粒度特征自动捕捉复杂运动模式。

（2）提出了一个运动特征聚合分支，以提取与临床评估标准对齐的症状驱动的运动特征，模拟STS过程中的四个主要症状类别：姿势稳定性、身体运动迟缓、腿部僵硬和手臂僵硬。与使用一般运动测量或仅关注有限症状方面的先前方法不同，我们的运动特征聚合系统地解决了STS转换期间PD的所有四个主要运动症状领域。通过将这些特征直接与MDS-UPDRS量表中使用的临床评估标准对齐，并针对现实世界视频分析进行优化，我们提高了诊断准确性和临床相关性，同时使得评估在不同环境条件下更加可解释和稳健。

（3）设计了一种新的特定类别的对比学习策略，以帮助学习不同严重程度级别的区分性时空特征。这种学习方法鼓励模型关注区分相邻严重程度级别的细微运动特征，这在环境变化较大的现实世界环境中尤为重要。

简而言之，我们开发了一个使用自由生活摄像机录制的视频进行自动STS严重程度评估的框架，这对提高PD诊断效率和实现远程医疗应用具有重要意义。据我们所知，这是第一个开发用于现实世界STS严重程度评估的自动化系统。

方法片段

坐立转换任务中运动障碍的自动评估

早期的自动STS评估方法主要依赖于在受控实验室环境中收集的基于传感器的数据。Giuberti等人（2015年）率先使用单个安装在胸部的惯性传感器在STS转换期间测量倾斜角度，进行了多类UPDRS评分。他们的方法结合了主成分分析（PCA）和k最近邻（KNN）分类，但仅达到了约60%的中等准确率。同样，Parisi等人（2015年）也进行了探索

提出的方法

图2展示了所提出框架的概览，该框架包括两个互补的分支：一个基于图卷积网络的时空特征学习分支和一个基于临床信息的运动特征分析分支。这两个分支分别实现了动态基于图的时空学习（DGSL）分支和症状驱动的运动特征聚合（SDKFA）分支。这种双分支设计结合了自动特征学习的优势

数据集

本研究使用了REMAP（帕金森病中的真实世界移动活动）数据集，该数据集包含了在类似家庭环境中收集的人类评分者标注的运动数据（Morgan等人，2023b）。该数据集的使用得到了布里斯托大学和成均馆大学机构审查委员会（IRB）的批准。REMAP涵盖了PD患者和健康对照参与者的数据，特别关注日常生活活动中的STS转换。

结论

在本文中，我们提出了KiGA，这是一种基于视频的自动评估帕金森病坐立转换运动严重程度的新框架。为了克服在不受控制条件下进行准确临床评估的挑战，我们开发了三项技术创新：（1）一个增强了自适应空间学习和多尺度时间卷积操作的动态基于图的时空学习分支；（2）一个症状驱动的

CRediT作者贡献声明

Jieming Zhang：撰写——原始草稿、可视化、方法论、正式分析、数据管理、概念化。Tai-Myoung Chung：项目管理、资金获取、概念化。Hogun Park：撰写——审阅与编辑、监督、项目管理、调查、资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了信息与通信技术规划与评估研究所（IITP）、国家IT产业促进机构（NIPA）和韩国国家研究基金会（NRF）的支持，资金来自韩国政府（RS-2024-00436936、IITP-2025-RS-2020-II201821、RS-2019-II190421、IITP-2025-RS-2024-00360227、RS-2025-25442569、H0601-24-1023）的资助。