《Energy Conversion and Management-X》：Thermal sensation inference in an integrated RGB-EVM framework for occupant-centric HVAC control: deep learning model benchmarking and comparison with thermal imaging
编辑推荐：
热舒适监测对于构建节能、健康且舒适的室内环境至关重要。准确的监测可通过使暖通空调（HVAC）运行与占用者的实际需求保持一致来减少能源浪费，从而避免过度调节或调节不足。既往研究提出了一种将欧拉视频放大（Eulerian Video Magnification,
热舒适监测对于构建节能、健康且舒适的室内环境至关重要。准确的监测可通过使暖通空调（HVAC）运行与占用者的实际需求保持一致来减少能源浪费，从而避免过度调节或调节不足。既往研究提出了一种将欧拉视频放大（Eulerian Video Magnification, EVM）与基于YOLOv8的检测器相结合的框架，用于从RGB视频中推断热感觉，提供了一种低成本且可扩展的解决方案。下一步的关键在于基于证据的模型选择，因为检测架构会影响对运动和光照变化的鲁棒性、对未见占用者的泛化能力以及计算效率。近年来，轻量级单阶段检测器和高精度双阶段检测器均取得了进展，因此有必要在RGB-EVM流程内开展系统性基准评估。此外，该方法尚未与热成像方法进行严格比较，而后者仍是非接触评估中的常用参照。为弥补上述空白，本研究在一致的训练条件和资源条件下，评估了RGB-EVM框架中的代表性单阶段与双阶段检测器，并将最佳模型与热成像基线进行了比较。研究评估了从YOLOv8n到YOLOv12n的模型以及Faster R-CNN。结果表明，YOLOv12n在准确性、效率和迁移性之间实现了最佳平衡。基于RGB的模型取得了78.9%的mAP50和73.7%的mAP50-95，而热成像分别为81.8%和63.3%。尽管总体准确性保持可比，基于RGB的方法表现出更一致的分类行为和更强的迁移能力。这些结果表明，经EVM增强并结合适当深度学习架构的低成本RGB相机，可为智能建筑与HVAC应用中的热感觉推断提供一种具有竞争力且可扩展的热成像替代方案。
该文发表于《Energy Conversion and Management-X》，围绕“以占用者为中心的暖通空调（HVAC）控制”这一智能建筑核心议题，系统评估了一种基于普通RGB相机与欧拉视频放大（Eulerian Video Magnification, EVM）的热感觉推断框架，并进一步将其与热成像方法进行同条件比较。研究背景在于，室内热舒适不仅影响人员健康、工作效率与学习表现，而且与建筑能耗密切相关。然而，现实中大量HVAC系统仍依赖环境温度传感器与固定时序控制，难以反映个体差异与实时热舒适状态，容易造成过度制冷、过度供暖或控制保守，从而导致显著的能源浪费。传统的预测平均热感觉（Predicted Mean Vote, PMV）及自适应热舒适模型多为群体层面模型，在动态、非均匀及个体差异显著的室内场景中存在预测偏差，因此难以直接满足个体化、实时化控制需求。已有非接触式方法中，热成像因能捕捉面部皮肤温度分布而被广泛用于热舒适识别，但其设备成本、部署复杂度与规模化应用门槛较高，限制了在办公建筑、既有建筑改造及多房间连续监测场景中的推广。基于此，研究人员提出以低成本RGB相机替代热成像硬件，利用EVM增强面部与血流灌注相关的微弱颜色波动，再结合目标检测模型直接推断热感觉，以探索一种更具可扩展性的占用者感知监测路径。
在这一背景下，本文聚焦两个尚未充分解决的问题：其一，前期RGB-EVM框架主要基于单一YOLOv8n模型完成概念验证，缺乏跨架构、跨代际模型的系统性比较，难以支撑面向实际部署的模型优选；其二，该框架尚未在真实办公条件下与热成像基线开展严格“同台比较”，因此其相对性能、稳定性与泛化能力仍不清晰。为此，研究人员开展了两阶段研究。第一阶段是在RGB-EVM框架内，对多种单阶段与双阶段深度学习检测器进行系统基准测试，综合评估精度、资源消耗与对未见受试者的迁移能力；第二阶段则选取第一阶段中表现最均衡的模型，与热成像数据上的同构模型进行直接比较，从而评估RGB-EVM作为热成像替代方案的可行性。研究最终得出结论：在所测试模型中，YOLOv12n在准确性、计算效率和泛化能力之间表现出最佳平衡；在与热成像的比较中，15×放大RGB-EVM模型总体检测性能与热成像相当，同时在更严格定位标准与未见数据迁移性方面更具优势，说明低成本RGB相机经EVM增强后可形成一种具有实际部署潜力的热感觉感知方案，对面向舒适与节能协同优化的HVAC控制具有重要意义。
研究人员采用的关键技术方法主要包括以下几类。首先，在样本来源方面，模型基准测试阶段使用英国诺丁汉大学建筑与建成环境系两栋办公楼内4个场景、21名参与者的数据；RGB与热成像比较阶段使用另行招募的13名参与者、3个场景的同步采集数据。其次，视频处理方面对RGB视频进行EVM处理，设定0.8 Hz至1.67 Hz频带以增强与心率相关的面部颜色变化，并重点测试15×与20×放大量级。再次，建模方面纳入YOLOv8n、YOLOv9c、YOLOv10n、YOLOv11n、YOLOv12n及Faster R-CNN，在统一训练条件下比较mAP50、mAP50-95、精确率、召回率、训练时长、推理速度、GPU/CPU/RAM占用。最后，通过受试者级数据划分、未见个体测试以及均方误差（MSE）和平均绝对误差（MAE）评估模型的时间序列拟合与泛化能力。
以下结合论文结果部分的结构，对主要发现进行解读。
4.1. Model benchmarking
这一部分围绕RGB-EVM框架下不同深度学习架构的表现进行系统评估，分为训练结果、计算速度与资源消耗、未见数据评估三部分，目标是在精度、效率和可迁移性之间筛选最适合实际部署的模型。
4.1.1. Training results
训练结果显示，YOLO系列整体明显优于Faster R-CNN。就训练集与验证集性能而言，YOLOv9c在15×和20×数据集上分别取得84.3%和82.0%的mAP50，为所测模型中最高，精确率也最突出。YOLOv8n则在mAP50-95与召回率之间表现较均衡。YOLOv10n与YOLOv11n并未在该特定任务上带来进一步提升，说明较新的版本并不必然在热感觉分类任务中更优。Faster R-CNN的mAP50仅为56.5%和53.6%，显著落后于YOLO系列。训练曲线进一步表明，大部分YOLO模型在约50个epoch后收敛，YOLOv9c在精度与收敛速度上优势明显；在20×放大条件下，所有模型后期验证分类损失上升更明显，提示高放大倍数更易引入噪声并导致过拟合倾向。综合来看，YOLOv9c在训练指标上最强，而YOLOv12n则在不同放大倍率下表现出更稳定的平衡性。
4.1.2. Computing speed and resources
资源消耗分析显示，Faster R-CNN尽管预测性能不足，却带来最高的训练与推理成本。其单个数据集训练时间超过41 h，CPU利用率超过40%，推理速度约6 fps，GPU显存占用接近1 GB。相比之下，YOLO系列大多可在约8 h内完成训练，CPU占用通常低于10%，推理速度维持在13–19 fps，更适合连续实时监测。YOLO家族内部也存在差异，其中YOLOv9c资源需求较高，训练时间约为YOLOv8n和YOLOv11n的3倍，适合高性能GPU环境；YOLOv8n、YOLOv11n等轻量模型则在较低RAM与GPU占用下保持稳定吞吐率，更有利于受限资源场景部署。因此，从工程可实施性角度看，单阶段YOLO模型总体优于双阶段模型。
4.1.3. Evaluation of unseen data
在未见受试者数据上，YOLO系列依然整体优于Faster R-CNN。15×放大条件下，YOLOv11n取得最低误差，MAE为0.361，MSE为0.469；但其在20×条件下性能明显下降。YOLOv12n在两种放大倍率下均表现稳定，尤其在20×下MSE仅为0.257，显示出更强鲁棒性。时间序列回归曲线比较表明，YOLO模型对真实投票波动趋势的跟踪通常优于Faster R-CNN，且15×放大下多数模型比20×更能捕捉真实变化趋势，这与前期研究中“15×为最佳EVM放大量级”的结论一致。综合预测精度、时间趋势一致性与计算代价，研究人员最终选择YOLOv12n作为后续RGB-EVM与热成像横向比较的主模型。
4.2. RGB-EVM and thermal imager model comparison
这一部分将筛选出的YOLOv12n用于RGB-EVM与热成像的直接比较，以评估RGB视频增强方案是否具备替代热成像的潜力。
4.2.1. Training results
在同步采集的数据集上，热成像模型取得最高mAP50，为81.8%，高于15× RGB模型的78.9%和20× RGB模型的75.8%。但在更严格的mAP50-95指标上，15× RGB模型达到73.7%，明显高于热成像的63.3%，说明RGB-EVM在高精度定位与综合检测表现上更均衡。热成像模型的精确率达到88.2%，显著高于RGB模型，但其召回率仅62.6%，明显低于RGB模型的77.3%与77.5%。这表明热成像模型预测更保守，假阳性较少，但漏检较多；RGB-EVM模型则灵敏度更高，在维持较好定位质量的同时，能检测到更多真实样本。训练曲线还显示，热成像模型训练和验证框损失较高，但验证分类损失相对较低，说明其分类泛化具有一定优势，而15× RGB模型在后期出现一定过拟合迹象，20× RGB模型召回波动更大，稳定性较差。总体而言，15× RGB-EVM模型在多指标之间实现了最佳折中。
4.2.2. Confusion matrix
混淆矩阵分析表明，热成像模型在类别区分上总体优于RGB-EVM模型，尤其在相邻热感觉类别之间的辨别更清晰。RGB-EVM模型对“slightly warm”和“slightly cool”类别较易误判为“neutral”，说明其在中性附近边界区域的分类敏感性不足。其中，15×模型比20×模型略好，表现在“slightly cool”与“neutral”之间的混淆稍低。研究据此指出，RGB-EVM框架虽然在若干检测指标与迁移能力上具有竞争力，但在细粒度分类、特别是中性附近的判别方面仍弱于热成像。
4.2.3. Evaluation on unseen data
在完全未见个体P13的数据上，15× RGB-EVM模型与热成像模型都能较好跟随真实热感觉投票总体下降的时间趋势，但热成像模型在早期出现与真实趋势不一致的上升波动，且整体预测更偏高，表现出对热感觉的高估倾向。20× RGB-EVM模型则呈现与真实趋势相反的变化，泛化能力明显不足。误差定量结果进一步支持这一观察：15× RGB-EVM模型的MSE和MAE分别为0.1266和0.3138，显著优于20× RGB模型的0.3512和0.5145，也优于热成像模型的0.5798和0.7014。研究人员特别指出，将逐点分类结果平滑为回归曲线，更符合HVAC控制所需的连续、稳定控制信号，有助于避免系统因短时波动而频繁调节。因此，从控制导向应用角度看，15× RGB-EVM模型最具实用潜力。
5. Discussion
讨论部分首先总结了架构比较结果：YOLO系列在收敛性、时间稳定性、资源效率和未见用户预测方面均优于Faster R-CNN，其中YOLOv12n综合表现最佳。随后，研究将15× RGB-EVM模型与热成像模型进行对照，指出热成像虽然拥有更高mAP50与更高精确率，但其mAP50-95、召回率和未见数据迁移性均弱于15× RGB-EVM模型。研究还将本研究结果与既有文献进行对比，认为15× RGB-EVM模型在若干关键指标上达到或优于相关热成像研究，尤其其MAE低于部分既有热舒适回归研究，提示普通RGB相机结合EVM能够在无专用热成像硬件的情况下实现高保真热感觉监测。
讨论还强调了不同模型误差结构在HVAC控制中的意义。热成像模型偏保守，容易漏检；RGB-EVM模型召回率更高、严格IoU阈值下定位质量更好。对于建筑控制而言，假阳性可能带来不必要的HVAC动作和能耗惩罚，假阴性则意味着未能及时响应不舒适事件，因此在实际部署时需结合阈值设定、时间平滑与控制滞回机制加以优化。研究同时指出，本研究仍存在局限，包括受试者年龄、性别与肤色分布不均衡，照明条件变化可能影响RGB模型稳定性，高倍EVM放大在头动条件下易放大噪声，以及所有模型在“neutral”附近分类敏感性不足。这些问题提示未来需扩大人群与场景多样性，优化中性区间样本分布，引入更客观标签，或进一步结合时序学习模型与多模态策略。
研究结论部分可译为：
本研究通过对一系列深度学习检测算法进行基准测试，并将最优配置与热成像基线比较，对既有RGB-EVM热感觉预测框架进行了评估。在所测试模型中，单阶段检测器整体优于双阶段方案，其中YOLOv12n在RGB-EVM框架内表现出最均衡的综合性能。凭借稳定的预测表现、良好的泛化能力以及较高的计算效率，YOLOv12n可作为可扩展、低成本舒适度监测流程中的有力部署候选模型。
以YOLOv12n为选定架构的比较分析表明，15× RGB-EVM模型获得了与热成像模型相当的检测性能（mAP50：78.9% 对 81.8%），同时在更严格的定位评价标准下表现更强（mAP50-95：73.7% 对 63.3%）。此外，与热成像模型相比，基于RGB的方法在未见数据上的迁移能力更优（MAE：0.314 对 0.701；MSE：0.127 对 0.580），表明其在跨占用者与跨场景的实际应用中具有较好的鲁棒性。
这些发现突出了低成本、易部署RGB相机的潜力：在EVM增强和适当深度学习模型支持下，其可作为室内热感觉推断中替代热成像的一种可行方案。在建筑运行情境中，这类可扩展感知手段可支持以占用者为中心的HVAC监管与控制，例如开展与舒适度对齐的设定点调节并减少过度调节，而无需依赖专用热成像硬件。未来研究应通过面向控制的评估进一步量化其运行影响，例如在仿真或现场试验中报告HVAC能耗与舒适超限情况，并在更丰富的占用者构成及照明、环境条件下扩展验证。
