《Case Studies in Thermal Engineering》:Facial Image Recognition with Spatial Attention for Thermal Fatigue and Comfort Monitoring in Drivers
编辑推荐:
车辆座舱是一种独特的热环境,过高温度会使驾驶员体温调节系统负荷增加,显著削弱注意力与反应时间。随着现代车辆自动化程度提高及其对智能系统的依赖,维持最佳座舱温度愈发重要。本研究提出一种基于深度学习(Deep Learning)的面部图像识别模型,用于评估道路车辆
车辆座舱是一种独特的热环境,过高温度会使驾驶员体温调节系统负荷增加,显著削弱注意力与反应时间。随着现代车辆自动化程度提高及其对智能系统的依赖,维持最佳座舱温度愈发重要。本研究提出一种基于深度学习(Deep Learning)的面部图像识别模型,用于评估道路车辆驾驶员的热疲劳(Thermal Fatigue)与热舒适(Thermal Comfort)。具体而言,研究人员设计了集成空间注意力机制(Spatial Attention Mechanism)的ResNet50架构(Attention-ResNet50),通过优先关注具生理信息的面部区域来增强面部图像特征提取。为采集数据,20名受试者在气候可控驾驶模拟器上完成驾驶试验,模型训练数据包括夏季与冬季工况下的面部图像、热感觉调查表(Thermal Perception Data Collection Form)及环境测量参数。每张面部样本依据疲劳状态(清醒Alertness或疲劳Fatigue)、性别及季节条件进行标注,最终将模型预测结果与热感觉调查表比对以评估疲劳与舒适水平。两模型的验证准确率均超过95%;增大训练数据集使验证准确率提升约5%,但增益最终趋于饱和;值得注意的是,空间注意力机制显著提升了模型性能,尤其在男性驾驶员与夏季场景下——准确率提升约1%,且收敛所需训练轮数(Epoch)平均减少3轮。结果表明注意力增强深度学习模型在驾驶员监测应用中具潜在价值,该方法可为自适应空调控制(Adaptive Climate Control)与实时安全预警提供支持,有助于提升乘员舒适性与整体驾驶安全。
论文解读:基于空间注意力机制融合面部图像识别的驾驶员热疲劳与热舒适监测
该研究发表于《Case Studies in Thermal Engineering》。车辆座舱内高温会使驾驶员体温调节系统承受显著热负荷,引发皮肤血管扩张、出汗、电解质流失及脑功能受影响进而导致困倦,即热致疲劳(Thermal Fatigue),同时降低认知表现、警觉性与操作能力,直接威胁行车安全;而舒适的座舱热环境可改善驾驶员情绪从而降低事故风险。传统热舒适评价依赖物理参数与生理模型如Fanger的预测平均投票数(Predicted Mean Vote, PMV)模型及其自适应模型(aPMV),难以捕捉复杂实时的生理变化;现有基于图像驾驶疲劳检测多依赖眨眼百分比(Percentage of Eyelid Closure, PERCLOS)等孤立眼部指标或局部手部温度数据,未能综合捕捉由舒适向热损伤过渡的整体状态,且在车辆座舱动态热环境下泛化能力与特征针对性不足。为此,研究人员开展了一项结合可控环境模拟驾驶实验与深度学习图像分类的研究,提出在ResNet50后端引入源自卷积块注意力模块(Convolutional Block Attention Module, CBAM)的空间注意力子模块(Attention-ResNet50),以非接触式面部可见光及红外热成像同步评估驾驶员热疲劳二分类(清醒/疲劳)与热舒适三分类(冷/中性/热),并系统分析数据集规模、空间注意力有效性及性别与季节因素对模型性能的影响。结果显示热疲劳模型验证准确率超99%,热舒适模型达100%;数据扩增加速收敛但增益递减;空间注意力机制使模型更快收敛并强化对眼、鼻、前额、面颊等生理相关区域关注,对男性受试者及夏季工况提升尤为明显。该框架为车载自适应气候控制与实时疲劳预警提供了非侵入式、具可解释性的技术路径。
研究人员采用的主要关键技术方法如下:招募20名健康受试者(男10女10,19–26岁)于可控环境舱内模拟驾驶,按16℃(冬)→每15 min升温3℃→28℃(夏)协议采集数据;每10 min用FLIR Lepton 3.5红外相机采集面部可见光与红外热图像,每5 min记录主观热感觉投票(Thermal Sensation Vote, TSV)及疲劳等级(清醒0/疲劳1)与血氧饱和度;可见光疲劳数据集(Group A)3221张按时间窗对齐标注,经旋转±15°、缩放0.8–1.2倍、亮度±30%、高斯噪声扩增为Group B(15倍)与Group C(30倍),中心裁剪至224×224像素,按7:2:1分层随机划分;红外热舒适数据集1353张标注冷/中性/热三类并同样预处理;以ResNet50为骨干网,在其首层卷积后嵌入CBAM空间注意力模块(7×7卷积+Sigmoid生成空间注意力图,与输入特征图逐元素相乘),用Adam优化器训练并以混淆矩阵、准确率(Accuracy)、精确率(Precision)、召回率(Recall)、特异度(Specificity)及GradCAM++可视化评估。
3.1. Thermal Fatigue Model(热疲劳模型)
研究人员用全量面部可见光图像训练二分类模型。初始阶段损失在前50轮(Epoch)下降60–75%,验证准确率自第5轮51.2%升至第45轮88.7%,约60轮梯度稳定。数据量增大时(Group A→B→C),验证准确率从98.78%升至99.92%再至99.93%,收敛轮数由第27轮缩短至第24轮再至第22轮。加入空间注意力机制后模型整体验证准确率99.85%,男性组99.84%、女性组98.59%、冬景组99.73%、夏景组99.73%;无注意力基线分别为总组99.85%、男性组99.20%、女性组99.62%、冬景组99.81%、夏景组99.73%。GradCAM++显示注意力模型权重集中于鼻、前额、面颊等生理相关区并抑制背景,基线ResNet50注意力分布较分散。亚组分析表明空间注意力对男性受试者及夏季图像分类提升更显著,女性疲劳态与冬季图像略有微幅波动。
3.2. Thermal Comfort Model(热舒适模型)
研究人员用红外面部图像训练三分类(冷/中性/热)模型。各扩增数据集验证准确率均达100%。Group A收敛较慢第25轮稳定,Group B快速学习第7轮完成快速下降段但第22轮小幅波动后恢复,Group C约第11轮完成快速段第17轮提前稳定,表明数据扩增改善收敛效率与鲁棒性。
3.3. Comparative Analysis: Dataset Size, Gender, and Seasonal Effects(比较分析:数据集规模、性别与季节影响)
数据集扩大可提升准确率但Group B至C仅微增0.01%,过大则略延长收敛,中等规模扩增数据集可在效率与精度间取得平衡。空间注意力整体上加快收敛并提升特征提取效率,对清醒态及男性受试者提升明显,对女性疲劳态略降。性别差异上注意力机制提升男性清醒与疲劳双态准确率,女性仅清醒态提升、疲劳态微降,提示生理或行为差异影响模型敏感性。季节差异上两模型夏季近完美,冬季注意力模型准确率微降0.03–0.13%,推测温暖条件下面部热线索更显著使注意力机制效益更大。
讨论与结论翻译
研究人员得出结论:(a)热疲劳与热舒适模型均具优异预测性能——热疲劳模型验证准确率持续超99%,热舒适模型各数据集均达100%验证准确率,证实热疲劳不仅是主观感受而是具可辨识视觉标记的生理状态,注意力机制可更有效捕获之;(b)扩大数据集可提升性能并加速收敛,但超一定规模后收益递减,表明Attention-ResNet50在适中规模高质量数据集上即可捕获主要热特征,有限面部"热特征空间"复杂度使适度扩增训练足够,可在计算效率与预测可靠性间取得平衡;(c)集成空间注意力模块增强模型对焦眼、鼻、前额、面颊等具生理信息面部区域的能力,GradCAM++可视化确认注意力增强模型将网络权重集中于此并抑制背景噪声,带来更快收敛与更稳健预测;(d)注意力模块具类别特异性效应——男性受试者受益最大(清醒与疲劳态检测均改善),女性清醒态预测改善但疲劳态分类准确率微降,夏季工况图像比冬季更受注意力机制裨益,提示面部热线索随环境条件变化;(e)所提框架可用于自适应气候控制与实时危险预警系统,通过准确评估热疲劳与舒适使车辆系统主动缓解驾驶员疲劳、提升乘员舒适并潜在降低交通事故风险。研究人员指出未来应纳入更多天气条件、肤色及太阳辐射强度以增强真实场景适应性,开发自适应面部热膜技术模拟多样热异常,并探索轻量化网络架构(知识蒸馏等)以支持嵌入式部署。