《Neurocomputing》：Physics-differentiable adaptive computational spectral imaging model for noisy observations and parameter drift in real systems
编辑推荐：
基于神经网络的光谱融合与重建方法在仿真基准数据集上已取得优异性能，但其在实际硬件系统中的部署仍具挑战性。主要障碍在于理想化的数据驱动假设与实际传感过程之间的失配：现有成像模型往往过度简化，且离线标定无法适应环境诱导的参数漂移、模型失配及传感器噪声，导致观测提取
基于神经网络的光谱融合与重建方法在仿真基准数据集上已取得优异性能，但其在实际硬件系统中的部署仍具挑战性。主要障碍在于理想化的数据驱动假设与实际传感过程之间的失配：现有成像模型往往过度简化，且离线标定无法适应环境诱导的参数漂移、模型失配及传感器噪声，导致观测提取不可靠。针对上述问题，研究人员提出了一种面向真实系统的端到端物理驱动快照计算光谱成像框架。首先定义可微空间变化成像模型（Differentiable Spatially Varying Imaging Model, DSIM），将固定标定参数与描述动态系统状态的可学习变量分离；基于此设计观测提取网络（Observation Extraction Network, OENet）估计动态参数并从原始传感器测量中恢复可靠光谱观测，作为现有融合骨干网络的可微前端；进一步引入基于二维传感器域损失的自监督在线学习策略，使提取与融合网络在部署后可无光谱标签自适应更新。通过共享可学习参数，可微前向模型、观测提取与在线自适应被统一为从原始测量到最终重建的物理一致优化流程。实验表明，将该方法嵌入不同融合骨干后，在含真实退化的仿真数据集上约获得3 dB峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）增益；真实系统实验在存在部署漂移条件下提供了定性及分光光度计验证支持。代码公开于 https://github.com/justas75/dcn-ini。
本文对西安电子科技大学Mingming Ma、Jialiang Wu、Yi Niu及Lingzhi Kang撰写的论文《Physics-differentiable adaptive computational spectral imaging model for noisy observations and parameter drift in real systems》进行解读，该文发表于《Neurocomputing》。
一、研究背景与立项依据
计算光谱成像（Computational Spectral Imaging, CSI），特别是快照式计算光谱成像（Snapshot Computational Spectral Imaging, SCSI），能够将传统静态光谱成像提升至动态视频成像水平，其核心逆问题为从多传感器低维观测融合重建三维光谱立方体（光谱数据立方）。基于深度学习的光谱先验研究已使仿真实验取得显著进展，但实际系统与仿真性能之间存在巨大差距。现有方法存在三方面不足：（1）采用简单的全局统一成像模型（刚性坐标映射、各波段均匀点扩散函数 Point Spread Function, PSF）描述色散与像差导致的复杂空间变化退化，致使保真项偏离实际；（2）成像模型依赖实验室单色仪离线标定，无法应对真实环境中机械振动与温度变化引起的参数漂移（parameter drift），使静态退化模型逐渐失效；（3）传统观测提取假设无噪声且为静态预处理，忽视波长相关PSF混叠与环境致模型失配，导致提取的观测光谱混叠且空间配准偏差，降低重建质量。为此，研究人员开展了面向真实色散多传感器快照计算光谱成像（Dispersion-based Multi-sensor Snapshot Computational Spectral Imaging, DM-SCSI）系统的物理可微端到端建模与自监督在线再标定研究，以解决模型过简、参数漂移及观测不可靠三大问题，缩小仿真与部署的性能鸿沟。
二、主要关键技术方法
研究人员以非混叠DM-SCSI系统为对象，构建物理可微空间变化成像模型（DSIM）对空间变化的几何漂移与波长相关PSF显式参数化；设计观测提取网络（OENet）从原始含噪传感器数据估计未知系统状态变量并解算可靠低分辨率高光谱图像（Low-Resolution Hyperspectral Images, LR-HSI）；提出基于双路径退化模型的自监督在线再标定方法（Self-supervised Online recalibration Method），利用二维传感器观测损失在无光谱真值情况下对OENet与融合网络作标签无关微调。实验先量化真实系统在五类环境下的参数漂移并建立高保真仿真数据集匹配主要漂移特征，随后在仿真与真实硬件上分别定量与定性验证所提即插即用框架的有效性。
三、研究结果
Dispersion-based multi-sensor snapshot computational spectral imaging systems
不同于基于芯片集成调制或超表面的单传感器系统，DM-SCSI系统利用二次面色散与多相机采集平衡通量、灵活性与重建质量。研究人员指出早期代表性系统（如PMVIS）虽引入RGB与光谱传感器融合范式，但仍沿用全局统一模型与离线标定，未处理空间变化退化与参数漂移，此为后续研究改进方向。
Methodology
研究人员将方法分为三步：①数学定义物理前向退化过程为DSIM，由一组未知状态相关参数Θ参数化，模型显式描述各像素位置色散方向偏移及波长依赖PSF；②设计OENet作为实时估计器推断Θ并求解逆观测问题，输出经去噪与去混叠的LR-HSI供后端融合；③引入自监督在线再标定策略，在部署后检测到环境变化时触发短时优化，通过共享Θ使DSIM前向计算与OENet提取形成物理一致的端到端映射。
Experiments
研究人员首先在五种环境温度/振动条件下实测真实DM-SCSI系统参数漂移幅值，据此构造含主导漂移特征的仿真数据集。仿真实验显示，将所提OENet及在线适应模块接入不同现成融合骨干后，较基线在含噪声及漂移退化数据上平均提升约3 dB PSNR；真实系统实验在存在部署漂移时，定性重建结果及分光光度计测得光谱曲线均支持方法有效性，证明在线再标定可缓解实验室标定失效问题。
Conclusion
研究人员总结称，针对快照计算光谱成像系统因成像模型过简、观测提取不可靠及环境诱导参数漂移造成的仿真—部署性能落差，提出了一个融合可微空间变化成像模型（DSIM）、观测提取网络（OENet）及按需自监督再标定策略的物理引导端到端框架。该框架通过共享可学习参数统一可微前向模型、观测提取与在线适应，实现从原始传感器测量到光谱立方体的物理一致优化。仿真定量结果表明该方法可使多种融合骨干获得约3 dB PSNR增益，真实DM-SCSI系统实验亦提供定性及分光光度计佐证。此工作为计算光谱成像系统在真实动态环境中的可靠部署提供了可标定、可在线适应的通用前端解决方案。
四、总结讨论（结论译文）
本文解决了由过度简化的成像模型、不可靠的观测提取及环境诱导参数漂移所引起的快照计算光谱成像系统仿真与部署间的性能差距。为此，研究人员提出了一种融合可微空间变化成像模型（DSIM）、观测提取网络（OENet）及按需自监督再标定策略的物理引导端到端框架。DSIM显式参数化空间变化的几何漂移与波长相关点扩散函数（PSF），OENet从含噪原始传感器测量中估计动态系统状态并恢复可靠的低分辨率高光谱图像（LR-HSI），自监督在线学习通过二维传感器域损失实现无标签自适应。通过共享可学习参数，可微前向模型、观测提取与在线适应被统一为从原始测量到最终光谱重建的物理一致优化流程。实验表明，当接入不同融合骨干时，该方法在含真实世界退化的仿真数据集上约获得3 dB峰值信噪比（PSNR）增益；真实系统实验在存在部署漂移条件下给出定性及基于分光光度计的验证证据。所提方法为计算光谱成像系统在真实环境中的可靠部署奠定了基础。
