《Scientific Reports》：Improving airport security with IoT-powered deep learning methods for threat detection and intelligent recommendation systems
编辑推荐：
本研究引入了一个新颖的框架，该框架整合了深度学习算法、智能推荐系统以及物联网（Internet of Things, IoT）设备，以提升机场安全水平。该系统利用监控摄像头识别潜在危险活动，例如放置无人看管的行李。通过分析交互作用和运动模式，可以检测出异常情况
本研究引入了一个新颖的框架，该框架整合了深度学习算法、智能推荐系统以及物联网（Internet of Things, IoT）设备，以提升机场安全水平。该系统利用监控摄像头识别潜在危险活动，例如放置无人看管的行李。通过分析交互作用和运动模式，可以检测出异常情况，并向安保人员发送通知。该框架利用推荐系统，基于历史数据和实时信息来优化安全措施。这种综合方法减少了误报，提高了运营效率，并加强了安全防护。案例研究和模拟实验证实了该框架的有效性。有趣的是，基于多视角卷积神经网络（Multi-View Convolutional Neural Network, MVCNN）架构的迁移学习（Transfer Learning）方法在从未见过的测试数据上实现了超过95%的威胁检测准确率。此外，所提出的ISODI（Intelligent Security Optimization）方法在识别与航班延误相关的异常事件方面优于决策树（Decision Tree）和K-近邻算法（K-Nearest Neighbors），准确率达到0.99。这些结果表明，该框架能够提升机场的安全标准。尽管该模式带来了有益的进展，但仍需进一步研究以确定其在现有安全系统中的最佳应用场景，并解决可能出现的隐私问题。为适应不同机场环境的复杂性，实际系统需要进行广泛的测试和调整。
随着航空旅行量的持续增长，航空业既面临机遇也面临挑战。尽管航空业代表着全球互联互通和经济繁荣，但安全措施也必须不断改进，以应对不断演变的威胁。传统安全系统通常依赖固定设备和人工监督，难以有效监控大型机场航站楼并快速识别可疑活动。这暴露了机场安全的一个严重弱点，可能危及旅客、工作人员和财产的安全。为了解决这一重大挑战，需要一种利用新技术的革命性安全解决方案。深度学习算法和物联网设备的最新进展为增强机场安全提供了令人鼓舞的前景。物联网设备将物理空间转变为互联传感器网络，能够实时收集和监督机场各方面的数据，例如行李处理和旅客流量。深度学习算法基于人脑的结构和功能，擅长模式识别和复杂数据分析。因此，它们可用于识别传感器数据和视频记录中的异常情况，这些异常可能揭示可疑活动或遗弃物品。本研究提出的架构将深度学习算法、智能推荐系统与物联网设备集成以增强机场安全。研究人员正在开发创新框架，通过将这些有前景的技术与智能推荐系统融合，可能会彻底改变机场安全。这些框架可以利用历史趋势和实时数据，通过动态分配人员和资源到高风险区域，来优化安全程序。智能推荐系统还能够持续学习和适应，从而增强其识别异常情况和随时间降低风险的能力。
鉴于航空旅行频率的上升以及潜在威胁的不断演变，机场在当今环境下保持严格的安全措施至关重要。常规安全系统有时难以准确识别可疑行为并对大面积区域进行有效监控。这促使研究人员探索利用尖端技术的创新方法。深度学习算法和物联网设备的最新进展为增强机场安全提供了令人鼓舞的前景。通过将这些技术与智能推荐系统集成，研究人员提出的新框架有望显著改善现有安全措施。先进的推荐系统有望提升机场安全水平，但现有版本存在局限性。机场环境固有的复杂性，表现为广泛的活动和行为模式，使得准确的分类和分析变得困难。此外，某些算法可能无法将实时数据充分融入其建议中，并且难以适应新的威胁。误报和低效的资源分配也可能阻碍安全效果。为了解决这些问题，需要开发更强大、更适应性强的推荐算法，以有效管理机场安全的复杂性。本研究探讨了一个利用物联网摄像头结合深度学习进行异常检测以及智能推荐系统的框架，旨在提升安全标准。所提方法旨在减少误报、提高运营效率并增强安全性。通过案例研究和模拟实验评估了该框架的有效性，展示了其提升机场安全的潜力。
物联网传感器、深度学习算法和智能推荐系统的结合正在引发机场安全领域的范式转变。这种全面的方法解决了现有系统的不足。通过利用物联网设备实时收集和分析数据的能力，机场可以获得关于旅客行为、行李处理和航站楼整体运营的重要见解。深度学习算法能够高效、精确地分析数据以识别异常情况，例如无人看管的行李或可疑活动，从而增强了这种能力。随后，智能推荐系统根据已知威胁和历史模式动态改进安全策略，进一步推进了本研究。这种主动的方法通过将资源导向最需要的区域，提高了运营效率和安全性。该集成框架的主要优势之一是减少误报的能力，这是传统安全系统普遍存在的问题。通过将实时数据分析与历史趋势相结合，该系统能够区分真正的安全风险和良性活动，降低了不必要的干扰可能性。此外，基于洞察的智能推荐系统动态资源分配，确保安全人员得到适当部署，提升了安全运营的整体效果。这项创新解决方案不仅解决了机场安全的紧迫问题，也为该领域的未来发展奠定了基础，确保机场在不断变化的环境中保持安全。
本研究的核心动机源于现代机场日益增长的规模和复杂性，这对传统安全系统构成了重大挑战。这些系统通常依赖人工监控、静态规则和孤立的检测技术，难以处理实时、多源数据，并经常导致高误报率和资源利用效率低下。本研究旨在提出一种基于物联网和深度学习的智能安全优化框架（ISODI），以联合解决威胁检测和运营决策制定问题。ISODI框架整合了实时感知、先进的异常检测和自适应资源分配，以实现主动、高效且具备风险感知能力的机场安全管理。
所提框架的创新点在于：虽然多视角卷积神经网络（MVCNN）最初于2015年被提出用于三维（Three-Dimensional, 3D）形状识别任务，但其应用主要局限于视觉对象分类及相关领域。相比之下，本研究将MVCNN技术引入机场安全领域，这是首次尝试利用其能力，结合物联网传感器数据进行实时异常检测。所提的ISODI框架独特地将MVCNN集成在一个更广泛的系统中，该系统还包括卷积神经网络（Convolutional Neural Network, CNN）、循环神经网络（Recurrent Neural Network, RNN）、智能推荐模块和动态安全协议优化。通过结合迁移学习和来自多个机场系统（如监控摄像头、传感器、门禁系统）的实时输入，ISODI有效解决了在安全敏感环境中及时准确预测威胁的关键挑战。这种集成及特定领域的部署代表了超越MVCNN原始应用范围的重要进展，从而确保了贡献的新颖性。
论文的主要贡献可总结如下：提出了ISODI框架，一个由物联网驱动的智能异常检测框架，结合实时数据和深度学习以增强机场安全；采用混合深度学习方法，结合空间和时间特征提取，使用CNN和RNN准确检测异常；整合迁移学习，利用预训练模型和迁移学习（MVCNN）以提升在有限和特定领域数据集上的性能；开发了动态资源分配技术，可根据风险评估实时调整安全协议；实现了持续适应机制，利用实时反馈和数据流进行持续学习和系统调整；进行了性能评估，结果显示优于现有技术（F1分数：0.99，精确度和召回率：1.0），证明了ISODI消除假阳性并识别所有真实异常的能力。
论文其余部分的安排如下：“文献综述”部分概述了相关研究。所提方法在“基于物联网和深度学习的智能安全优化（ISODI）”一节中讨论。“结论”部分提供了实验评估。最后，在“未来工作”部分对本研究进行总结。
文献综述部分指出，随着国际航空旅行的快速发展，机场安全控制应持续改进以应对变化的威胁。传统安全系统过度依赖人工监督和静态基础设施，通常无法有效巡逻大型机场航站楼并及时阻止可疑活动。这些限制可能危及旅客、工作人员和宝贵机场设施的安全。新技术的发展为此提供了良好前景。物联网技术可用于部署互连传感器和监控系统，提供关于旅客流动、行李处理和运行状况的实时连续数据。然而，物联网产生的数据量大且异构，需要智能分析技术才能提取可操作信息。
深度学习方法在处理高维复杂信息和检测高度多样化数据模态中的微小模式方面特别有效。通过处理传感器流和监控图像，深度学习模型可用于识别异常行为、无人看管物品和潜在安全威胁。尽管现有文献已经分别研究了深度学习在威胁检测和资源分配推荐方面的应用，但对于将两者集成到单一框架中的研究尚不充分。这种端到端集成的缺乏限制了现有机场安全系统的通用性和有效性，凸显了开发智能架构以集体利用实时物联网传感器、基于深度学习的异常检测和自适应安全决策的必要性。
在计算机视觉领域，利用三维图像的潜力是一个主要挑战。对于三维表面的物体分类，一些研究支持体积卷积神经网络（Volumetric CNN）设计；然而，这些方法计算成本高昂。作为替代方案，在多个二维（Two-Dimensional, 2D）视图上训练已成为一种具有更好性能和结果的实用策略。本研究使用多视角卷积神经网络（MVCNN）将TSA的三维全身扫描投影到不同角度的二维图像，以提高威胁检测准确性。
文献回顾了MVCNN的发展，包括Su等人提出的用于三维形状识别和分类的MVCNN，该架构集成了来自ImageNet的预训练CNN，并利用多视角池化（Multi-View Pooling）技术通过元素最大池化（Element-wise Max Pooling）综合信息。Geras等人将MVCNN技术应用于高分辨率医学图像。本研究采用了这些技术的修改版本，因为认识到MVCNN在多个学科的适用性。文献还讨论了计算机辅助训练（Computer-Based Training, CBT）对于安检员解释X射线图像的有效性，并指出了现有威胁检测算法的缺点，如计算强度高、数据集不平衡、处理三维图像困难、误报率高以及深度学习与推荐算法集成有限等。
现有研究依赖于孤立的检测模型、计算成本高的三维CNN和静态决策规则，通常导致高误报率和有限的实时适应性。所提的ISODI框架通过集成物联网驱动的传感、基于计算高效的MVCNN的深度学习以及根据实时风险评估动态优化安全资源的智能推荐系统，克服了这些局限性。
基于物联网和深度学习的智能安全优化（ISODI）框架是一个利用物联网和深度学习技术变革机场安全的新框架。该全面策略整合了来自多个来源的实时数据，例如机场系统、传感器和监控摄像头。ISODI运行包含五个关键阶段：数据采集与准备；使用深度学习（如CNN和RNN）进行异常检测；安全协议优化；警报生成与响应；持续监控与改进。通过集成这些功能，ISODI旨在显著提升机场安全标准，优化运营效率，并为旅客和机场工作人员创造更安全的环境。
在数据采集与预处理阶段，ISODI系统结合部署在机场设施中的各种物联网传感器，以实现全面的实时安全覆盖。这些传感器包括启用了物联网的监控摄像头（高清闭路电视和全身扫描毫米波摄像头）、运动传感器和接近传感器、门禁传感器（RFID读卡器和基于徽章的身份验证）以及环境传感器。数据经过同步、预处理、归一化和特征对齐后，被发送到基于深度学习的异常检测模块。
在基于深度学习的异常检测阶段，ISODI使用先进的深度学习方法（如CNN和RNN）分析预处理数据并识别异常。由于这些算法在标记数据上训练以识别趋势和偏离正常行为的模式，因此可以用于检测可疑活动、无人看管行李和其他潜在安全问题。由于数据和计算限制，本研究选择了MVCNN而非训练全新的三维CNN。本研究基于ImageNet数据集上的预训练VGG16，创建了两种MVCNN：微调MVCNN（Fine-tuning MVCNN）和迁移学习MVCNN（Transfer Learning MVCNN）。微调MVCNN将VGG-16分为两部分（CNN1和CNN2），通过训练CNN2和全连接层来优化性能，并使用元素最大池化进行多视角池化。迁移学习MVCNN则直接使用预训练VGG-16提取每个视角图像的特征为4096维向量，然后将所有视角的特征拼接后通过全连接层和逻辑回归进行威胁分类。
在安全协议优化阶段，ISODI利用异常检测获得的信息实时优化安全协议。智能推荐系统分析数据以评估所发现异常情况相关的风险，并据此动态调整安全协议，高效分配人员和资源，重点关注高风险和潜在危险区域。这展示了ISODI的灵活性和主动安全管理策略。
在警报触发与调查阶段，当ISODI发现潜在威胁或异常情况时，会向安保专家发出警报并启动调查和响应协议，以减轻对旅客和机场财产的风险。这确保了及时响应，减少了安全事件对机场运营的影响。
在持续监控与适应阶段，ISODI监控安全运营，收集反馈，并根据安保人员的观察和实时数据调整其算法。这种适应性确保系统能有效应对不断演变的威胁，并随着时间的推移保持效率。
在实施与评估部分，研究使用了两个数据集进行分析。第一个是Kaggle上的“旅客筛查”（Passenger Screening）数据集，包含1145名志愿者从不同角度拍摄的三维扫描生成的二维灰度图像。第二个是“航空公司准点性能”（Airline On-Time Data）数据集，包含航班时刻表、延误、取消和改道等信息。
数据集按70:15:15的比例划分为训练集、开发集（验证集）和测试集。对于旅客筛查数据集，由于原始数据不平衡（约80%为“威胁”，20%为“无威胁”），研究采用了数据增强技术来平衡数据集，并将灰度图像转换为三通道图像以适配VGG-16输入。
在旅客筛查数据集上的MVCNN结果表明，两种MVCNN架构（微调和迁移学习）在训练、开发和测试集上均取得了超过95%的高准确率。具体而言，迁移学习MVCNN在测试集上达到了99.1%的准确率，精确度为100%，召回率为99%，F1分数为99.5%，表现优于微调MVCNN。研究通过使用正则化技术（如Dropout和L2正则化）以及五折交叉验证来缓解过拟合问题，并验证了模型的鲁棒性。错误分析发现，大部分误判是由噪声扫描图像或具有特殊姿势的个体造成的。
在航空公司准点性能数据集上，通过热力图分析、摘要统计、箱线图、条形图和饼图等多种可视化手段，研究了航班延误和改道特征之间的关系及分布情况。这些分析有助于识别可能影响航班运营的潜在模式。
在异常检测算法性能对比中，ISODI算法在准确率（0.99）、精确度（1.0）、召回率（1.0）和F1分数（0.99）等所有指标上均优于决策树（准确率0.9426）和KNN（准确率0.91）。此外，与单类支持向量机（OC-SVM）、孤立森林（iForest）、局部离群因子（LOF）和基于自编码器（AutoEncoder）的检测等基准算法相比，ISODI也持续表现出优越性能。统计显著性检验表明，ISODI相对于其他模型的性能提升具有统计学意义（p值<0.01）。
结果讨论部分总结道，ISODI框架结合了深度学习和物联网设备，在识别异常和强化安全流程方面表现出色。基于迁移学习的MVCNN威胁预测模型，即使在小数据集上也能表现出色，迁移学习MVCNN方法在威胁预测上展示了巨大潜力。安全协议优化阶段实现了人员和资源的动态分配，体现了ISODI的灵活性和主动管理策略。持续监控和修改阶段进一步增强了其有效性，使其能够根据实时数据和安全人员反馈持续调整算法，以应对变化的威胁。
相较于三维CNN，MVCNN将三维扫描转换为一组二维投影，使得可以使用高效且成熟的二维CNN骨干网络与迁移学习，显著降低了计算复杂度和推理延迟，同时保留了关键的空间信息。ISODI框架在多样化运营条件下的鲁棒性得益于其多方面的机制：图像预处理方法缓解了光照变化和视觉伪影；MVCNN通过多视角表示克服了遮挡和视角敏感性问题；多模态数据融合和RNN的时间建模增强了系统在传感器故障或噪声下的态势感知能力；持续监控与适应模块允许系统动态调整。实时适应能力在高峰时段等动态场景中尤为重要，能实现威胁的快速识别和资源的动态优化。安全协议优化算法（SPOA）采用强化学习启发的优化策略，旨在最大化安全覆盖同时最小化资源浪费，消融研究证实了其对提升系统性能的贡献。在安全、隐私和伦理考虑方面，ISODI主要在匿名化和非可识别数据上运行，遵循通用数据保护条例（GDPR）等法规，采用了边缘或雾计算处理原始数据、数据最小化、加密传输和基于角色的访问控制等措施。在计算复杂度与实时性能方面，ISODI框架考虑了计算效率：CNN模块处理固定分辨率图像，RNN以线性时间复杂度处理时序传感器数据，MVCNN架构通过共享权重的二维骨干网络避免了三维CNN的立方级计算开销，支持实时推理。
结论部分重申，为了最大化机场安全，ISODI框架整合了深度学习与物联网设备，这对识别异常和强化安全流程非常有效。ISODI采用全面策略，利用来自摄像头、传感器和机场系统的实时数据，并利用深度学习算法和智能推荐系统进行分析，显著提升了威胁检测和安全运营能力。异常检测阶段使用强大的深度学习方法（如CNN和RNN）准确识别潜在威胁和可疑活动。值得注意的是，对旅客筛查数据集的检验表明，得益于迁移学习和预训练模型，威胁预测模型即使在有限的数据集上也能达到最佳性能。迁移学习MVCNN技术在这方面表现突出，以卓越的准确性（开发集100%，测试集99.1%）展示了其显著提升威胁预测的潜力。此外，安全协议优化阶段基于评估的风险和预测的威胁动态分配人员和资源，展示了ISODI的灵活性和主动安全管理策略。ISODI的持续监控和调整阶段进一步增强了其有效性，使其能够持续根据实时数据和安全人员反馈修改算法。这种适应性确保系统能有效应对不断演变的威胁，并随时间推移维持高水平的安全性。论文的主要贡献包括：设计了一个融合实时物联网数据与先进深度学习技术的综合性多阶段框架；利用迁移学习与MVCNN，并整合CNN和RNN模型以增强异常检测；利用智能推荐系统动态优化安全资源分配；将ISODI与经典及基于深度学习的异常检测模型进行基准测试，证明了其在所有评估指标上的优越性能。
未来工作的方向包括：扩展数据集以包含更多样化和更大规模的真实世界机场安全数据，以提升框架的泛化性；探索合成数据增强技术以增强模型在有限数据下的鲁棒性；研究集成更先进的深度学习架构和混合模型以进一步提升异常检测的准确性和适应性；扩大基准测试范围，纳入更广泛的新颖深度学习方法；探索真实世界部署场景和持续学习机制，确保框架能动态适应演变的威胁和操作条件。未来的验证将侧重于在动态操作条件下的真实世界部署和鲁棒性评估，包括在受控机场环境中进行试点测试，以及进行全面的模拟以评估框架在可扩展性、延迟、抗数据不确定性及适应演变威胁方面的表现。
尽管所提的ISODI框架表现出色，但仍存在局限性：当前评估主要基于基准和公开数据集，可能无法完全捕捉真实世界机场威胁场景的多样性；在运营机场环境中的大规模实时部署面临光照变化、传感器噪声、部分设备故障和旅客密度波动等挑战；深度学习模型的有效性取决于数据质量和标注精度，有限的标注数据（尤其是稀有威胁事件）可能限制模型泛化。未来的研究将探索先进的数据增强、合成数据生成以及半监督或自监督学习策略来解决数据稀缺问题并增强鲁棒性。
