《Sensors》：From Signals to Remaining Useful Life: Multimodal Sensor Fusion for Fault Diagnosis and Prognostics—Methods, Pitfalls, and Reporting Standards
编辑推荐：
多模态传感器融合正日益用于提升故障诊断与预测中的可观测性，从而在复杂机电与机器人系统中实现剩余使用寿命（RUL）估计。然而，真实世界部署仍易受到传感器故障与数据完整性问题的影响——包括偏置、漂移、失准、数据丢失、饱和、串扰、时间不同步以及域偏移——这些问题可沿
多模态传感器融合正日益用于提升故障诊断与预测中的可观测性，从而在复杂机电与机器人系统中实现剩余使用寿命（RUL）估计。然而，真实世界部署仍易受到传感器故障与数据完整性问题的影响——包括偏置、漂移、失准、数据丢失、饱和、串扰、时间不同步以及域偏移——这些问题可沿融合流水线传播，并导致过于乐观的验证结果与较差的泛化能力。这些挑战在协作机器人、可穿戴/康复设备以及以人为中心的机电系统等安全相关与健康相关应用中尤为关键，因为基于错误感知所作出的决策可能同时影响系统可靠性与用户安全。本文综述综合了以下三方面的研究现状：（i）与多模态融合相关的传感器故障分类体系与故障模型；（ii）涵盖数据层、特征层与决策层集成的故障感知融合策略；（iii）传感器故障与不确定性如何影响诊断以及剩余寿命估计器。研究人员将采用系统性范围综述方法，对同行评审文献进行梳理，提取传感器模态、故障表征或故障注入方案、融合架构、验证设定（仿真、硬件在环、台架以及现场/在体研究）以及报告完整性。除总结方法外，本文还为基于传感器融合的诊断与预测提出实用报告规范，包括覆盖同步、故障真实标注、缺失处理、泄漏控制、不确定性校准以及任务相关指标的最小披露集。文中还提供可复用的核对清单与证据表，以支持更具可比性、可复现性与部署就绪性的研究。
1. Introduction
引言部分指出，现代预测与健康管理（PHM）系统日益依赖多模态感知，以捕获工业场景和人机中心环境中退化过程的复杂多物理场表征。旋转机械、能源系统、协作机器人以及可穿戴康复设备等应用通常综合振动、电、热、声学与生理信号，以提高对系统健康状态的可观测性。文章强调，单一传感模态难以完整刻画退化机理，而多模态集成能够增强诊断与预测推断能力。尽管已有研究在基准数据集上报告了较高的故障诊断精度和较强的剩余使用寿命（RUL）预测性能，但作者提醒，这些结果往往建立在受控实验条件之上，其外部有效性需要谨慎审视。文中归纳出三类反复出现的方法学问题：其一，时间相关数据中的评估泄漏，尤其是在训练集与测试集划分未保持时间结构时，会造成性能高估；其二，多模态融合研究中广泛存在传感器理想化假设，即默认训练与推理阶段的传感条件均已校准、同步且无故障；其三，验证场景较为狭窄，许多工作主要依赖实验室数据集或公共基准，缺少现场或硬件在环（HIL）验证。作者进一步指出，在实际部署中，传感器测量会受到偏置、漂移、数据丢失、失准以及时间不同步等因素影响，这些失真并非简单的随机噪声，而会系统性改变观测信号与真实健康状态之间的统计关系，并最终导致带偏诊断、退化模式误判和过度自信的RUL预测。因此，本文提出有必要系统梳理传感器故障、融合架构与验证报告三者之间的关系。
2. Conceptual Framework for Fault-Aware Multimodal Fusion
本节构建了面向故障感知多模态融合的概念框架。文章将多模态传感器融合描述为一个结构化变换过程，即把来自多个传感模态的异构观测映射为诊断或预测输出。虽然这一抽象形式看似直接，但其内部包含一系列决定预测性能与鲁棒性的关键设计选择，其中最核心的是信息集成层级。作者系统区分了三类主要融合范式。数据层融合直接整合原始信号或轻度预处理后的信号，能够最大限度保留跨模态时间依赖与相位关系，因而适合于暂态事件和耦合动力学显著的场景，但同时对同步要求极高，也最容易受到损坏输入的直接污染。特征层融合则先分别提取模态特异表示，再进行集成，因而能够灵活处理不同采样率、不同物理量纲及不同噪声特性的信号，是当前多模态PHM中最常见的折中方案；但这一变换可能掩盖传感器故障的原始结构，使系统退化与传感器失真之间的界限变得模糊。决策层融合基于各模态独立模型的输出再进行组合，具有较强模块化和一定容错能力，不可靠模态可被降权或剔除，因此在安全关键场景下具有吸引力，但其性能依赖于各单模态模型自身的可靠性和校准程度。进一步地，作者强调，真实环境中的传感器观测并不满足理想化假设，而会受到校准误差、时间错位、环境变化及渐进退化等影响。因此，融合过程应被重新理解为对“潜在受损观测”的推断过程，在这一框架中，传感器故障可视为调制真实系统状态与观测信号之间关系的潜在变量。该视角意味着：理想条件下的高性能并不等于部署场景中的强鲁棒性；不同架构既可能放大也可能抑制传感器失真传播；同时，多模态互补性的成立依赖模态间关系稳定、对齐正确，若存在时间不同步、跨通道干扰或域依赖变化，则融合表示虽然在统计上自洽，却可能在物理意义上产生误导。由此，文章主张必须以感知、融合与故障机制联动分析的方式理解PHM系统。
3. Review Methodology (PRISMA-ScR Framework)
本节说明综述的方法学设计。作者采用系统性范围综述，并依据系统综述与Meta分析报告规范的范围综述扩展版（PRISMA-ScR）制定流程，以保证文献筛选与数据提取的透明性和可复现性。检索覆盖`Scopus`、`Web of Science`、`IEEE Xplore`和`ScienceDirect`四个数据库，时间范围限定为2015—2026年，以反映数据驱动和混合式PHM方法占据主导地位的时期。纳入标准要求研究必须涉及至少两种不同传感模态的融合，并将其用于故障诊断、健康状态估计或RUL预测；纯单模态分析、无PHM应用的方法论文以及工程与人机中心系统之外的研究被排除。最终形成123篇文献语料，其中99篇为原始研究，24篇为综述性论文。数据提取模板记录了传感模态、融合层级、任务类型、验证环境以及报告完整性指标，如同步程序说明、缺失数据处理与不确定性量化等。由于研究对象在数据集、架构与评估协议上高度异质，作者未进行Meta分析，而采用定性—定量结合的综合方式。结果显示，特征层融合占比最高，约为56.9%，其次为多层级融合、数据层融合与决策层融合；在任务分布上，故障检测与诊断（FDD/FDI）占48.8%，预测任务包括RUL与健康状态估计占26.8%。验证方式方面，约48.0%的研究依赖实验室或基准数据集，仅13.0%包含现场验证，7.3%采用仿真，4.9%采用硬件在环（HIL），另有相当比例未充分报告验证环境。安全关键领域与非安全关键领域在现场验证纳入概率上存在显著差异，提示实际验证更可能出现在受监管或高风险场景。时间趋势分析表明，2020年后文献数量明显增长，且近年出现更多基于Transformer与物理信息神经网络（PINN）的方法，但泄漏控制、同步报告和不确定性校准等报告质量指标并未呈现显著统计学改善。
4. Sensor Fault Taxonomy in Multimodal Systems
本节提出多模态系统中的传感器故障分类体系。作者指出，尽管传感器故障是真实测量系统的内在属性，但现有多模态PHM研究对其处理常常不一致且不完整。与系统故障通常被作为模型关注重点不同，传感层产生的失真往往被简化为随机噪声处理。然而，这种假设并不成立，因为传感器诱发偏差通常具有时间结构，并可显著改变观测数据与潜在系统状态之间的统计关系。基于文献综合，文章将传感器故障划分为三大类。第一类为突发故障（Class I），表现为相对于正常状态的突然且持续偏离，典型包括恒定偏置、完整信号丢失与饱和效应。这类故障通常会立即改变信号均值或造成幅值截断，在信号层面相对容易识别，但在紧耦合的数据层融合中，单通道损坏可能扩散至整体表示空间。第二类为渐进/早期故障（Class II），包括漂移、增益退化与间歇性信号劣化，其特点是随时间缓慢演化，初期常与正常运行波动难以区分。此类故障尤其危险，因为其可能模拟真实退化过程，例如温度传感器缓慢漂移会被模型误判为热应力累积，从而在RUL估计中产生系统性高估或低估。第三类为多传感器特异性故障（Class III），并非单个传感器失效，而是源于传感器通道之间的不一致，如时间不同步、跨通道耦合与相对失准。此时各传感器单独看来可能运行正常，但联合表示已因错位或非预期依赖而失真，进而破坏模态间对齐关系。作者还讨论了域偏移现象，虽然其传统上不归类为传感器故障，但在多模态融合视角下会造成类似于多传感器不一致的后果。该分类体系的核心意义在于，传感器故障的影响不能脱离融合架构独立评价，同一故障在模块化决策层系统中可能影响有限，而在数据层融合模型中则可能广泛传播。
5. Fault-Aware Fusion Strategies
本节围绕故障感知融合策略展开分析。作者提出，故障感知多模态融合并非某一特定模型类别，而是一种设计视角，要求在架构选择与评估策略中显式考虑传感器失真如何进入处理流水线、如何与融合层级交互，以及如何被削弱、传播或通过不确定性表达出来。数据层融合虽然最能保留跨模态依赖，特别适用于电—机耦合等需要精确保留时序和相位关系的任务，但其在面对偏置、丢失和不同步等问题时最为脆弱，若缺乏融合前信号质量控制，就容易放大损坏输入的影响。特征层融合因其在表达能力与鲁棒性之间提供较好折中而最为常见；不过，一旦信号被编码到特征空间，原始传感器故障结构便可能不再直接可见，缓慢漂移在特征分布中可能表现为与系统退化相似的平滑移动，从而导致错误归因。决策层融合则通过各模态独立建模并在输出端聚合，天然支持一定容错性，不可靠模态可被降权或剔除，但这种“表面鲁棒性”取决于单模态模型是否本身已对故障敏感、以及其置信输出是否经过良好校准。针对单层融合的局限，文中还讨论了混合式和多阶段架构，它们尝试在保留强物理耦合关系的同时维持部分模块化鲁棒性。除此之外，故障感知融合还越来越依赖显式处理不确定性与数据质量的机制，例如注意力模型、自适应加权、概率方法及贝叶斯框架，以根据模态可靠性动态调整贡献度，并把输入退化传播为输出不确定性。尽管这些方法前景良好，但其有效性仍依赖训练阶段是否暴露于真实的故障场景。综述统计显示，在原始研究中，明确评估传感器故障对系统层面性能影响的工作仅占很小部分，绝大多数研究并未在实验方案中系统考虑故障传播机制。这说明当前文献中“鲁棒性”往往是通过洁净数据上的高性能被间接推断，而非在传感器故障条件下被直接证明。
6. Impact of Sensor Faults on Diagnosis and Remaining Useful Life Estimation
本节分析传感器故障对故障诊断与RUL估计的影响机制。作者指出，传感器故障并不只是降低预测精度的随机扰动，而会系统性改变观测信号与底层系统状态之间的映射，因此其后果包括结构性偏差、退化模式误读以及过度自信的输出。文中结合若干明确报告单模态与多模态对比的研究指出，多模态融合通常能带来稳定但情境依赖的收益：在故障检测与诊断任务中，相对最佳单模态基线的精度中位提升约为3.4个百分点；在RUL任务中，均方根误差（RMSE）中位下降约28%。然而，作者强调这些收益应被谨慎解释，因为相关研究样本并非随机，且部分工作未明确控制时间泄漏。就故障诊断而言，传感器偏置、漂移与时间错位会改变特征空间中类别边界的几何结构，造成正常状态被误判为故障，或真实故障被掩盖。特征层融合尤其容易在编码过程中隐藏扰动来源，使系统诱发变化与传感器诱发变化难以区分。多模态系统中常被视为鲁棒性来源的“冗余性”也并非总是有效：若多模态同时受到共享环境影响、相关噪声或串扰作用，不同通道可能一致地指向错误模式，而这种一致性又会被模型误解为更高置信度。对于预测任务，渐进性传感器故障危害更大，因为RUL估计依赖时间上的退化轨迹推断；缓慢漂移或增益退化会模拟真实老化趋势，使模型系统性低估或高估剩余寿命。文章进一步指出，系统故障与传感器故障之间的混杂是纯数据驱动方法的根本局限之一，因为两者都表现为偏离正常模式的信号变化。若缺乏额外上下文信息或显式建模机制，模型很容易学习到错误关联。同时，即使现代融合模型提供置信度估计，这些估计通常是在理想数据条件下校准的，面对传感器故障时可能依然高度自信却系统性错误，在安全关键应用中尤为危险。
7. Validation Paradigms and Systematic Pitfalls
本节从验证范式角度讨论当前多模态PHM研究中的系统性陷阱。文章认为，评估方式深刻影响方法性能的“表观表现”及其被期望具备的实际可靠性。首先最常见的问题是数据泄漏，尤其出现在时间依赖型数据集的随机划分中。若训练集和测试集未保留退化过程的时间结构，未来状态信息就可能不当地进入训练过程，进而夸大评估指标。第二个问题是普遍默认理想传感条件。多数研究隐式把数据集视为洁净、完全同步且无传感器故障，然而真实环境中的偏置、漂移、缺失与时间错位并未被纳入验证协议，因此所得性能实际上对应的是理想情形，而非部署场景。第三，现实验证环境使用不足。大量研究仍然局限于实验室数据与公开基准，在负载波动、环境变化和复杂动力耦合充分存在的现场环境中验证不足。第四，传感器鲁棒性测试常被过度简化，许多工作仅使用加性高斯噪声或随机丢包模拟故障，但这无法再现真实故障的持续性、时间结构和与系统动力学的耦合效应。第五，域偏移与泛化问题也常被忽略；模型往往只在单一系统、单一运行工况或单一数据集上评估，却默认其可泛化到不同条件下。第六，性能指标解释不足。分类准确率或RMSE只能反映平均表现，难以揭示对关键小样本故障类别、特定运行区间或特定故障强度下的失效模式。作者强调，这些问题并非彼此独立，而是会相互叠加，例如一个在洁净数据、随机切分、单数据集场景下取得高性能的模型，可能同时对传感器故障和域偏移极度脆弱。因此，未来评估应从单一性能测量转向在明确且现实条件下的综合验证。
8. Minimum Disclosure Set (MDS): Toward Transparent and Reproducible Multimodal PHM Research
本节提出本文的重要方法学贡献——最小披露集（MDS）。作者认为，多模态PHM研究中许多问题不仅来源于方法缺陷，也与报告不完整和不一致密切相关。若关键假设未被说明，外部读者就无法判断一个模型究竟是真正鲁棒，还是仅仅受益于有利的数据质量、理想传感条件与宽松验证协议。为此，MDS旨在提供一套最低限度的报告基线，而非规定具体建模方法。该框架强调，应明确披露传感器模态、采集条件、预处理步骤、同步方式、校准程序、系统偏差来源、缺失或损坏数据的处理方案、是否纳入传感器故障场景、故障类型与严重度、验证数据划分方式、是否保持时间顺序、是否执行跨域评估、不确定性估计及其校准方法，以及代码和数据可得性等。综述结果显示，当前研究在可复现性方面表现尤为薄弱：大量工作既未公开原始数据，也未发布处理后数据、模型权重或推理代码；同步报告、传感器故障处理、缺失值处理和不确定性量化的披露率也相对较低。作者进一步指出，可复现性差并非某种特定融合架构的副产物，而是整个领域的普遍问题；同时，可复现性与是否控制时间泄漏之间存在显著正相关，提示这些报告项反映的是更深层的方法学严谨文化。MDS因此不仅是报告清单，也是设计指引：它要求研究者在模型开发阶段就考虑未来必须向读者清楚交代的假设与限制，从而促进更透明、更可比较、更面向部署的多模态PHM研究。
9. Discussion
讨论部分总结了全文的核心张力：一方面，多模态传感器融合和数据驱动建模在受控条件下显著提升了故障诊断与预测性能；另一方面，关于传感器故障机制与验证实践的分析表明，这些改进往往建立在脱离真实环境的假设之上。因此，当前领域存在“模型设计创新快于鲁棒性与可复现性评估”的不均衡发展。作者重申，传感器完整性是多模态推断的基础性但长期被忽视的组成部分。不同融合架构在信息集成能力与故障传播敏感性之间存在实质性权衡，而现有文献通常仅以总体性能指标比较模型，缺乏对现实感知条件下行为差异的分析。文章进一步指出，清洁基准、随机划分与有限验证场景共同塑造了对模型性能的高估，因此这些结果更应被视为潜力证明，而非部署可靠性的保证。MDS在此背景下的价值，在于通过系统报告关键假设，将“受控条件下结果”与“更可能泛化的结果”区分开来。作者还承认本综述存在局限，例如受制于现有文献本身的应用领域偏倚、数据集可得性偏倚以及现场研究稀缺，且由于领域异质性较高，难以进行严格统计比较。未来研究应更重视包含真实传感器故障的数据集构建、跨工况与跨域验证，以及显式感知不确定性的模型设计。
10. Conclusions
结论部分指出，本文围绕多模态传感器融合在故障诊断与预测中的作用进行了系统综述，重点分析了融合架构、传感器故障与验证实践之间的相互作用。综述结果表明，现有方法在受控环境中展现出较高预测能力，但这并不自动意味着其在真实世界中具有可靠表现。本文的核心贡献之一是建立了覆盖突发故障、渐进故障与多传感器特异性故障的统一分类体系，为理解测量缺陷的来源及其在融合流程中的传播提供了结构化框架。基于此，作者论证了传感器故障会在诊断分类与RUL估计中引入系统偏差，并导致对系统健康状态的误读及过度自信的预测。进一步分析显示，数据层、特征层与决策层融合各有优势，但没有任何一种架构天然免疫于传感器诱发失真，因此稳健的多模态系统不仅需要合适的架构选择，也必须在建模与评估阶段显式考虑感知条件。针对当前验证与报告中普遍存在的理想化假设、有限验证场景和披露不足，本文提出MDS作为提升报告一致性与可复现性的实践框架。总体而言，未来多模态PHM的发展，不仅依赖建模技术进步，更依赖对感知、融合与验证三者的整体性整合，以及对透明性与可部署性的持续重视。
