SafePath：一个基于TinyML的边缘智能框架，用于实时保护易受伤害的道路使用者

《Ad Hoc Networks》：SafePath: A TinyML-based on-device edge intelligence framework for real-time protection of vulnerable road users

针对城市交通中脆弱道路用户的安全问题，提出SafePath边缘AI框架，通过轻量级神经网络融合多传感器数据，实现低功耗、实时 hazard检测，在Cityscapes数据集上准确率超99%。

　　

作者：Debashis Das、Sourav Banerjee、Uttam Ghosh

美国纳什维尔Meharry医学院计算机科学与数据科学系，邮编37208

摘要

快速的城市化给交通系统带来了前所未有的压力，加剧了机动车与弱势道路使用者之间的互动，导致事故增加、交通拥堵和安全风险上升。然而，现有的安全解决方案严重依赖云服务器或密集的路边基础设施，这引入了延迟、隐私风险和高部署成本。与此同时，边缘设备在闪存、RAM和功率方面存在严格限制，无法实时执行先进的机器学习模型。为了解决这些限制，我们提出了SafePath，这是一个低功耗的边缘AI框架，用于实时保护弱势道路使用者。SafePath通过融合摄像头和惯性测量单元（IMU）的数据，并使用轻量级神经模型，在设备上进行完整的推理。该框架集成了紧凑的卷积神经网络进行视觉检测、Tiny U-Net进行分割、小型音频关键词检测模型以及高效的运动分类器，以检测和响应即将发生的道路危险。所有模型都通过量化、剪枝和知识蒸馏进行了优化，以适应微控制器的限制，所需闪存小于2 MB、RAM最小，功耗低于100 mW。我们还引入了一种基于预算的部署启发式方法，选择传感器位置以在成本限制下最小化行人和骑自行车者的风险。在Cityscapes数据集上的实验、现场模拟和原型部署显示，SafePath的危险检测准确率超过99%，端到端推理延迟低于50 ms（在ARM Cortex-M硬件上）。总体而言，SafePath提供了一种高效的下一代安全即服务（SaafaS）基础设施，用于保护弱势道路使用者。

引言

全球的智慧城市在人口和车辆数量方面都经历了快速增长。随着城市区域的扩张和人口密度的增加，人员和车辆的日常流动变得更加复杂和动态[1]。研究和全球道路安全报告一致表明，行人和骑自行车者是交通事故中最常受伤的群体[2]。分心驾驶、能见度有限和不可预测的交通模式等因素进一步增加了他们的脆弱性[3]。现代城市基础设施现在配备了各种数字解决方案，包括基于AI的视频监控、自动交通信号控制和嵌入在道路和交叉口的传感器网络[4]。大多数当前系统严重依赖基于云的处理或强大的边缘计算机来执行复杂的AI任务[5]。但是，持续数据传输和远程处理所需的基础设施安装、维护和扩展成本很高[6]。将数据来回发送到云端可能会导致延迟，并且在需要立即采取行动以防止事故或应对危险时也可能非常关键[7]。

因此，这些挑战突显了迫切需要新的城市安全方法，这些方法不仅在技术上先进，而且实用、成本效益高，并且能够保护隐私。为了真正保护繁忙城市环境中的行人和骑自行车者，安全监控和警报必须实时进行，并尽可能接近风险点。这就是Tiny Machine Learning（TinyML）提供了一个有吸引力的解决方案。TinyML是在低功耗设备（如微控制器、嵌入式传感器或可穿戴设备）上直接运行高效、紧凑的机器学习模型的做法[8]。借助TinyML，来自传感器的数据（如视频、运动或音频）可以由设备本身立即分析。TinyML驱动的设备可以在几毫秒内触发安全警报，为道路使用者和自动化系统提供宝贵的时间来反应和防止事故[9]。由于TinyML和神经形态计算的进步，基于事件的模型（如脉冲神经网络（SNN）在超低功耗方面可能很有前景[10]。TinyML还通过SNN大大减少了能源消耗并降低了延迟[11]。

尽管TinyML和智能交通系统最近取得了进展，但仍然存在一个科学问题：是否可以在严格的存储（$\le 2$ MB）和功率（$<$100 mW）限制下，完全在微控制器级别的硬件上实现像素级分割和实时多模态危险预测，同时保持关键的安全检测性能？现有的工作要么优先考虑使用资源丰富的平台的模型准确性，要么强调效率而不进行严格的分割级验证。关键挑战在于在严格的嵌入式限制下共同优化分割精度、概率风险估计和部署可行性。这个问题需要平衡计算复杂性、内存占用、延迟确定性和检测可靠性，而这些在以前的工作中通常是独立处理的。

在本文中，我们提出了SafePath作为一个资源受限的智能安全框架，通过联合考虑约束的模型压缩、概率危险建模和部署意识优化来解决这一研究问题，如图1所示。SafePath在其流程的每一步都依赖TinyML，以确保所有感知、推理和警报在资源受限的设备上可靠运行。它使用轻量级CNN进行视觉线索处理，Tiny U-Net进行分割，以及简单的运动分类器，所有这些都通过8位量化、剪枝和蒸馏进行了压缩。量化将网络权重和激活值从高精度浮点数转换为低位宽整数，以减小二进制大小，减少激活所需的RAM，并有时以较小的精度成本加快整数内核的速度，这可以通过校准或量化感知训练来缓解。剪枝通过移除参数来减少计算和内存占用。在这里，我们倾向于结构化（通道）剪枝，因此减少体现在编译后的二进制和激活缓冲区中。这两种技术都旨在降低闪存/RAM和延迟，同时我们监控准确性，并在需要时通过轻度微调或蒸馏来恢复准确性。一个精简的融合层合并其输出，一个基本的阈值检查触发本地警报，如闪烁灯、警报或更长的人行横道时间，而无需访问云端。为了保持低安装成本，我们构建了一种基于预算的启发式方法，选择传感器位置以最大化安全收益。

之前的智能交通安全框架[12]通常依赖云服务器或路边硬件进行计算[13]。历史上，TinyML系统主要关注单一传感器应用，如基本视觉或运动分类。相比之下，SafePath在设备上完全执行所有感知、融合和决策制定，从而减少了与云依赖相关的延迟、成本和隐私问题[14]。SafePath通过添加一个全面的、多传感器的、部署意识强的架构，与之前的TinyML安全解决方案区分开来，该架构完全在设备上运行。SafePath不仅展示了技术效率，还提出了一种创新的预算意识部署启发式方法，识别传感器位置以在实际成本限制内优化行人和骑自行车者的安全。总的来说，这些进步使SafePath成为第一个实现超过99%危险检测准确率并在各种城市环境中可行扩展的TinyML驱动的安全框架。为了解决这一研究问题，我们做出了以下科学贡献：

• 我们提出了一个端到端的TinyML架构，它在微控制器上融合摄像头、雷达和IMU的数据，以实时检测行人和骑自行车者的危险。
• 我们设计、训练并优化了三个轻量级神经网络，使用量化、剪枝和蒸馏来满足低功耗设备的闪存、RAM和功率限制。
• 我们在带有现成传感器的微控制器原型上实现我们的模型，并使用Cityscapes数据集在城市环境中进行广泛的现场试验和模拟，并报告检测指标。
• 我们在训练期间应用基于幅度的权重剪枝，最多移除了50%的模型参数。训练后，我们通过产生一个稀疏模型来消除零权重，该模型在闪存上更小且速度稍快（请参阅第5节）。
• 我们采用TensorFlow Lite的代表性数据集校准对基础Tiny模型进行训练后的整数量化（8位权重和激活值）。这进一步减小了模型大小和内存占用，并加速了推理，对原始准确性的影响很小。

本文的其余部分组织如下。第2节回顾了TinyML、设备上推理和智能交通安全系统的先前工作。第3节描述了我们的端到端TinyML架构，包括传感器融合、模型设计和在微控制器原型上的部署。第5节介绍了我们的实验设置、数据集以及检测准确性、延迟和吞吐量的定量结果，随后进行了详细分析。最后，第6节总结了本文并概述了未来研究的方向。

相关工作

相关工作

我们调查了最近在一系列智能交通任务中的设备上TinyML的努力，从简单的基于规则的检测器到多模态分割和音频处理。表1提供了这些工作的简洁比较。它还强调了我们提出的系统如何通过提供像素级行人和骑自行车者分割以及实时风险预测来推进现有技术水平。

系统架构

所提出的系统架构旨在使用TinyML驱动的设备为行人和骑自行车者提供快速可靠的安全监控。图2展示了TinyML设备如何在存储、功率和模型大小的限制下处理来自摄像头、雷达和IMU的多模态信号。该设备与云服务器、物联网基础设施和最终用户（行人、骑自行车者和汽车）交互，以操作智能交通灯，实现高效和安全的交通管理。

TinyML模型设计

一个成功的TinyML驱动的安全系统在很大程度上依赖于设计既准确又极其高效的机器学习模型。由于这些模型在资源有限的嵌入式设备上运行，整个设计过程都受到内存、计算能力和能源消耗严格限制的指导。为了处理像素级分割任务，我们采用了基于U-Net的分割框架[30]，能够生成准确的掩码

实验结果与分析

在本节中，我们详细评估了我们的U-Net变体在多个性能维度上的表现，包括分割质量、模型效率和设备上推理速度。我们使用标准指标对每个模型进行了评估：Cityscapes细验证集上的损失、准确性、精确度、召回率和F1分数。

结论

在这项工作中，我们提出了SafePath，这是一个由TinyML驱动的设备上安全监控框架，用于行人和骑自行车者，它通过紧凑的神经模型融合多模态传感器输入。它表明，我们不需要庞大的基础设施或远程服务器来保护行人和骑自行车者。我们的架构涵盖了固定的城市设施、智能交通信号和便携式可穿戴设备，所有推理都在本地进行，保证了小于100 ms的反应时间并保护了用户隐私。

CRediT作者贡献声明

Debashis Das：写作——审阅与编辑、原始草稿撰写、方法论、概念化。Sourav Banerjee：验证、调查、形式分析。Uttam Ghosh：资源获取、资金筹集。

写作过程中生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用了Grammarly和QuillBot工具来提高手稿的可读性和语言质量。使用这些工具/服务后，作者根据需要审阅和编辑了内容，并对发表文章的内容负全责。

利益冲突声明

作者声明以下财务利益/个人关系可能被视为潜在的利益冲突：Uttam Ghosh报告称获得了国家科学基金会的财务支持。如果有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

这项工作得到了国家科学基金会的资助，资助编号为2219741和2401928。作者衷心感谢为此研究提供的财务支持。