综述：面向食品无损光谱定量增强的深度神经网络框架（DNNFs）：从混合流程到端到端建模

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Deep Neural Network Frameworks (DNNFs) for Enhanced Non-destructive Spectroscopic Quantification in Foods: From Hybrid Pipelines to End-to-End Modelling

　　

背景：食品组分快速、准确、智能化定量检测对质量控制、营养评价与安全监测至关重要。传统分析方法常具破坏性、耗时长且成本高昂。太赫兹时域光谱（THz-TDS）等非损光谱技术提供了高效替代方案，但工业部署受限于高维光谱数据、光散射效应及食品基质复杂性。 范围与方法：本文对2020年以来应用深度神经网络框架（DNNFs）提升食品体系非损光谱定量分析的研究进展进行了范围界定与批判性综述，阐释了DNNFs如何支撑预处理、表征学习与回归任务，讨论了从混合流程向端到端建模的演进路径，并分析了验证、可解释性及工业部署层面的挑战。 核心发现与结论：在特定场景下，先进DNNFs相比传统化学计量学方法可表现出显著优势，能够自动学习光谱特征并捕获复杂非线性关系，尤其在存在显著非线性结构、时空依赖性或多组分混合体系的任务中。这些能力显著提升了跨食品基质的预测精度、鲁棒性与模型泛化性。基于DNNFs的端到端策略进一步降低了对人工预处理的依赖，为复杂工业环境下的食品质量实时智能监测提供了可行路径。可扩展、可解释且鲁棒的DNNFs持续发展，有望加速非损光谱定量技术在食品工业的实用化进程。

1. 1.
   引言
   该部分明确了食品非损光谱定量的目标与应用场景，涵盖营养成分、污染物及理化品质指标三大类。研究将建模策略明确区分为端到端建模与混合流程：前者指单一可训练框架直接将原始或轻处理的光谱映射至定量输出，去噪、基线校正、波长选择等操作由模型隐式完成；后者为分阶段建模，各模块独立优化，仍依赖人工预处理或外部化学计量学回归器（如偏最小二乘回归PLSR、支持向量回归SVR）。现有综述多局限于特定模态或任务阶段，缺乏覆盖从预处理到回归全流程、并系统比较混合与端到端策略的研究，因此本文旨在填补这一空白。
2. 2.
   基础原理
   2.1 非损光谱技术
   概述了荧光光谱、红外光谱（IR）、拉曼光谱、太赫兹光谱（THz）及高光谱成像（HSI）的技术特性与适用场景。荧光光谱灵敏度高，适用于含天然荧光团组分，但易受猝灭与信号重叠影响；近红外（NIR）光谱广泛用于水分、蛋白等常规成分预测，但存在宽带重叠与基质干扰；拉曼光谱具分子指纹特性，对水分不敏感，适合高湿食品，但信号弱且易受荧光干扰，表面增强拉曼光谱（SERS）可提升痕量检测能力；太赫兹光谱穿透性强，可用于包装内部检测，但水分子强吸收限制了高湿样品应用；高光谱成像融合空间与光谱信息，适合异质食品，但数据维度高、冗余大。表1总结了各类技术的适用基质、优势及主要干扰因素。
   2.2 深度神经网络框架（DNNFs）概述
   DNNFs相比传统化学计量学方法具有更强的表征学习能力，可建模光谱与目标间的复杂非线性关系。常用架构包括前馈神经网络（FNN）、循环神经网络（RNN，含长短期记忆网络LSTM与门控循环单元GRU）、卷积神经网络（CNN）及自编码器（AE，含堆叠自编码器SAE）。新兴架构如图神经网络（GNN）、生成对抗网络（GAN）等在复杂空间-光谱与多模态数据中展现出潜力。
   2.3 模型评价指标
   采用决定系数（R²）、均方根误差（RMSE）与性能偏差比（RPD）综合评估回归模型性能，通常R²>0.8、RPD>3且RMSE较低表明模型预测准确、泛化能力强。
3. 3.
   DNNFs在光谱数据分析中的应用
   3.1 数据预处理
   传统预处理方法（如多元散射校正MSC、标准正态变量变换SNV）依赖人工参数选择，一致性受限。DNNFs可作为可训练预处理模块，用于去噪、基线校正与校准传递。研究显示，深度预处理模块（如NN-NoiseBase、NN-EMSC）在某些任务中优于经典方法，尤其适用于高光谱混合噪声抑制、现场光照与跨设备漂移校正。针对小样本瓶颈，生成式增强（如深度卷积生成对抗网络DCGAN）可扩充训练集，但需控制生成规模以避免分布冲突。
   3.2 特征提取与降维
   高光谱数据的高维度易导致稀疏性与过拟合。传统线性方法（如主成分分析PCA、连续投影算法SPA）可解释性强，但难以捕捉非线性结构。DNNFs通过多层非线性变换自动提取层次化特征，在复杂基质（如食用油掺假识别、重金属污染检测）中表现优异。例如，结合小波变换（WT）与堆叠卷积自编码器（SCAE）可有效降低高维冗余，提升重金属定量精度。但研究也指出，在小样本条件下，深度特征未必持续优于传统特征。
   3.3 光谱多元回归分析中的应用
   DNNFs的回归应用集中于三大方向：（1）营养成分分析，如在小麦蛋白、玉米水分及食用油脂肪酸定量中，并行瓶颈注意力可调网络（PaBATunNet）、ConvLSTM等架构在非线性场景下优于传统方法；（2）污染物检测，SERS结合CNN-LSTM实现了花生中黄曲霉毒素B₁（AFB₁）的高灵敏检测（R²_p=0.9892，RPD=6.8723）；（3）理化性质检测，如可溶性固形物含量（SSC）预测中，SpectraNet-53通过跨年份、跨产地外部验证，证明了其优于PLSR的泛化能力。表2、表3、表4分别汇总了DNNFs在预处理、特征提取及回归任务中的代表性研究、验证设计与性能对比。
   3.4 基于DNNFs的端到端分析建模
   端到端建模将原始光谱直接映射至定量输出，减少人工干预。典型工作包括：波段重加权网络（BR-Net）实现油菜籽蛋白含量预测，1D-CNN无需预处理即可高精度检测鹰嘴豆粉中苯胺黄掺杂（R²_p=0.992）。针对小样本挑战，常引入迁移学习、注意力机制（如SE模块）与残差结构提升稳定性。在多组分混合物定量与过程监控中，端到端模型（如CNN-MR、DA-SE-CNN）展现出处理非线性相互作用与动态特征的潜力。多模态融合（如NIR与电子鼻结合）进一步提升了系统鲁棒性。
4. 4.
   挑战与未来趋势
   4.1 小样本约束与数据驱动策略
   高质量标注光谱数据获取成本高，DNNFs易过拟合。未来需平衡生成数据真实性与模型泛化性，强化数据可移植性。
   4.2 可解释性与可解释人工智能（XAI）
   需将可解释性作为核心设计目标，采用SHAP、LIME、显著图等方法揭示模型决策依据，并量化解释的跨批次稳定性与不确定性。
   4.3 标准化与工业级验证缺失
   当前评估多依赖随机划分，易导致信息泄露。未来应采用嵌套交叉验证与独立外部测试，全面评估误差分布、预测不确定性与实际扰动下的鲁棒性。
   4.4 工业部署挑战
   需解决实时推理、系统集成、成本控制与合规性问题，建立可追溯的模型版本管理与再验证流程。
   4.5 集成AI与硬件趋势
   多模态学习、边缘计算与轻量化架构将降低部署成本，隐私保护协作与明确的人机协作治理机制可推动多工厂联合建模与自动化流程落地。
5. 5.
   结论
   本文系统回顾了DNNFs在食品非损光谱定量中的进展，从混合流程到端到端建模的演进路径清晰。DNNFs在处理高维冗余、散射干扰与复杂非线性方面优势显著，尤其在空间-光谱数据、动态过程与多组分体系中。但在差异微小、样本有限或近似线性的场景中，优化后的化学计量学基线可能更具数据效率与鲁棒性。端到端建模是未来重要方向，可减少人工干预并适配在线监测需求。随着数据、算法与系统的协同进步，DNNFs有望在食品质量安全快速筛查与过程控制中发挥更稳定且可扩展的作用。