针对居家养老人群的个性化多模态人工智能与增强现实系统，用于远程认知辅助

《IEEE Access》：Personalized Multimodal AI and AR System for Remote Cognitive Assistance in Aging-in-Place

　　

摘要：

全球人口的逐渐老龄化导致轻度认知障碍（MCI）的患病率增加，这对医疗系统提出了挑战，要求它们帮助患者在日常生活中保持功能独立性。本研究提出了一种保护隐私的辅助系统，该系统结合了多模态人工智能和轻量级增强现实技术，为日常生活中的工具性活动提供个性化的、分步指导。该系统的架构通过大型语言模型和视觉-语言模型协调语音识别、检索增强生成和计算机视觉功能，以提供上下文相关的帮助。一个关键的创新点是自适应的闭环交互机制，该机制能够根据视觉反馈估计任务进度，通过基于视觉语言模型的动作识别验证步骤完成情况，并动态调整指导节奏。为了增强数据保护，原始的音视频流在边缘设备上进行本地处理（包括转录和验证），而只有文本元数据被传输到云端进行高级推理和语音合成。一项针对59至87岁老年人在不熟悉环境中执行任务的可行性研究表明，实验组的辅助需求显著低于对照组（分别为2.50次和4.43次）。实验组表现出更高的满意度（评分为4.48分/5分）。这些结果初步证明了该系统作为认知辅助框架的可行性及其在个性化家庭医疗工作流程中的潜在应用。