基于树莓派的多模态危险驾驶行为检测RMDD

《Electronics》:RMDD: Raspberry Pi-Based Multimodal Dangerous Driving Behavior Detection

【字体: 大 中 小 】 时间:2026年08月27日 来源:Electronics 2.9

编辑推荐:

  摘要翻译:随着机动车保有量的持续增长,危险驾驶行为引发的交通安全风险始终是重要关注问题。本文提出RMDD,一种基于树莓派(Raspberry Pi)的多模态危险驾驶监测可行性原型,采用YOLO26视觉模型、个性化面部疲劳估计、基于emotion2vec的语音识

  
摘要翻译:随着机动车保有量的持续增长,危险驾驶行为引发的交通安全风险始终是重要关注问题。本文提出RMDD,一种基于树莓派(Raspberry Pi)的多模态危险驾驶监测可行性原型,采用YOLO26视觉模型、个性化面部疲劳估计、基于emotion2vec的语音识别以及层次化可靠性门控BFV融合(HRG-BFV)。HRG-BFV将目标检测视为行为证据的正向支持,并通过开发折可靠性(development-fold reliability)缩放其贡献,从而在目标检测器失效时避免硬性拒绝。在锁定模块测试中,行为分类达到96.77%的Top-1准确率,辅助检测达到0.916的mAP@0.5,个性化面部校准将误报率从0.877降至0.211,说话人不重叠语音识别在0 dB车辆噪声下达到0.890的准确率。历史固定BFV基线在P03–P08(96个片段)上达到0.601的平衡准确率和0.506的宏F1。在P04/P05/P08(48个片段)上更严格的三折留一外部参与者评估中,HRG-BFV达到0.726的平衡准确率、0.562的宏F1、0.833的特异性和0.677的ROC-AUC,而同一队列上历史冻结硬门控分别为0.655、0.469、0.833和0.595。目标支持可靠性较低(0.097–0.194),因此自适应项适当地回归行为证据而非产生无根据的目标检测增益。一次密封的P08行为测试暴露了显著的跨受试者退化(0.320帧准确率)。冷却的30分钟树莓派5运行以0.927处理窗口/秒完成且无热节流。证据支持受控原型可行性,但不支持总体层面或道路泛化。
论文解读文章

一、研究背景与问题

随着中国机动车保有量的持续增长,危险驾驶行为引发的交通事故风险显著上升。统计年鉴数据显示,交通事故及其造成的人员伤亡和财产损失仍是重要的公共安全问题。现有的危险驾驶检测方法主要分为基于视觉特征和基于非视觉特征两类。非视觉技术包括生理信号分析和车辆参数分析,但生理传感设备可能具有侵入性,车辆参数分析则易受驾驶习惯和道路条件影响。视觉方法通过面部表情如闭眼、打哈欠以及身体动作如头部姿态、手势等进行监测,具有非接触和实用性优势,但对光照、遮挡和视角变化敏感。语音情感识别(SER)作为视觉分析的补充,可从声学特征评估驾驶员情绪,但噪声、说话人差异、语音间歇性和模型成本限制了其在嵌入式环境中的持续使用。

当前研究仍存在多方面问题:边缘计算资源约束了复杂模型的部署,动态驾驶场景下的持续性能难以保证;许多系统局限于视觉分析,缺乏与语音等模态的整合,难以同时评估行为、疲劳生理和情绪;多数系统侧重实时检测与预警,对检测记录的整合有限,缺乏系统化报告或驾驶员画像;嵌入式系统还需平衡模型复杂度、延迟、热稳定性、内存和功耗。针对上述问题,研究人员在原有RMDD设计基础上,更新硬件平台至树莓派5,引入层次化可靠性门控BFV融合(HRG-BFV)机制,并通过锁定模块测试和冷却完整系统稳定性运行评估原型可行性。

二、研究内容与主要技术方法

研究人员开发了基于树莓派5的边缘计算原型,采用三维感知框架整合行为、生理和情绪信息。系统使用YOLO26n十类行为分类器提供活动上下文,使用YOLO26n三类辅助目标检测器(手机、吸烟、饮水)提供佐证目标证据;面部疲劳估计采用MediaPipe Face Landmarker提取眼睛纵横比(EAR)、嘴巴纵横比(MAR)和头部姿态特征,并加入个性化校准与质量门控;语音情绪识别使用emotion2vec自监督语音表示模型,在说话人不重叠的ESD中文子集上训练轻量分类器,并在DEMAND车辆噪声条件下测试。融合层采用层次化可靠性门控BFV规则,将目标检测仅作为行为证据的正向支持,通过机会校正可靠性系数缩放其贡献,避免目标检测失败时产生硬性拒绝。评估采用锁定测试集和外部参与者留一法,数据来源包括自采行为视频、UTA-RLDD疲劳数据集、ESD语音数据集和DEMAND噪声库。

三、研究结果

3.1 视觉模块结果

行为分类器在锁定传统测试集上达到96.77%的Top-1准确率和100%的Top-5准确率。辅助目标检测器达到0.884精确率、0.907召回率、0.916 mAP@0.5和0.659 mAP@0.5:0.95。由于传统数据清单缺乏记录标识,这些结果仅作为图像级结果保留。在密封的P08外部行为集上,模型帧准确率降至0.320,帧宏F1为0.236,视频准确率为0.333,视频宏F1为0.273。这一大幅下降是重要负面结果,表明传统图像准确率不能迁移至新参与者和采集域。

3.2 面部个性化与语音噪声鲁棒性

在全部24名UTA-RLDD参与者中,固定阈值基线M0产生0.5303的平衡准确率和0.8769的误报率。个性化校准(M2)将平衡准确率提升至0.7356,误报率降至0.2438。M3和M4在干净保留数据上均达到0.7458平衡准确率、0.7058宏F1和0.2113误报率。在定向低置信度压力测试中,M3在注入无效测量后平均块后报警率升至0.851,而M4保持0.131,验证了质量门控机制的有效性。语音识别在干净条件下达到0.9931准确率,在20 dB和10 dB噪声下保持0.9809和0.9734,在0 dB下降至0.8900,其中高兴情绪召回率为0.6571,愤怒情绪召回率保持0.9971。

3.3 多模态融合可行性

在P03–P08的96个剪辑固定配置外部评估中,BF和BFV均达到0.6146准确率、0.6012平衡准确率和0.5060宏F1。语音活动检测(VAD)在96个剪辑中的55个产生可用语音,但0.4的语音贡献上限无法单独跨越0.65报警阈值。参与者层面表现存在显著异质性。在P04/P05/P08共48个剪辑的严格外部参与者留一评估中,完整HRG-BFV相对于历史冻结硬门控,将平衡准确率从0.655提升至0.726,宏F1从0.469提升至0.562,召回率从0.476提升至0.619,ROC-AUC从0.595提升至0.677,同时保持0.833的特异性。目标支持可靠性仅0.097–0.194,1421个留出窗口中仅2个同时满足行为与目标增强条件,说明自适应权重安全回归行为证据而非产生独立目标检测增益。

3.4 边缘性能与稳定性

视觉双ONNX基准平均需要215.2毫秒,对应约4.65次视觉推断/秒,峰值常驻内存162.8 MiB。冷却30分钟完整系统运行中,完整应用循环平均需要1076.4毫秒,对应0.927窗口/秒。系统平均温度46.01 °C,最高52.4 °C,所有节流标志为0x0。系统CPU平均22.16%,可用内存中位数5.99 GiB,未发生内存不足事件。

四、讨论与结论

讨论部分指出,最强结果并非单一全局准确率,而是更清晰证据边界:密封P08行为结果揭示严重跨受试者退化;面部消融和定向无效测量测试表明校准改善干净性能且M4防止低置信度基线损坏;语音模型在精选说话人不重叠片段上保持强健,但语音在受控驾驶员视频中间歇出现。融合结果显示孤立模块准确率不能替代系统证据,HRG-BFV的创新在于提供可靠性控制的回退机制,而非独立的目标权重精度增益。

研究结论总结如下:本文解决了危险驾驶监测的若干局限,保留了原有RMDD行为–生理–情绪框架,同时以可复现的树莓派5实现和锁定评估证据取代过时模型、数据集和硬件声明。视觉分支结合十类YOLO26n行为分类器与三类辅助目标检测器,锁定测试分别达到0.9677 Top-1准确率和0.916 mAP@0.5。面部分支在24名UTA-RLDD参与者上将误报率从0.8769降至0.2113。语音分支在说话人不重叠条件下干净准确率0.9931,0 dB噪声下保持0.8900。HRG-BFV在外部参与者P04/P05/P08分析中达到0.726平衡准确率、0.562宏F1、0.833特异性和0.677 ROC-AUC,其正向目标支持和机会校正可靠性防止了目标漏检否决行为证据。树莓派5完成冷却30分钟运行无热节流,处理速率0.927窗口/秒,平均完整循环延迟1.076秒,证明了对缓慢演化驾驶员状态和已确认事件的技术可行性,但不等于高帧率感知。功耗未测量,不作为实验收益呈现。限制包括传统图像级分割元数据、跨受试者行为退化、主要HRG-BFV评估仅三名外部参与者、静止条件、表演语音、单一噪声录音、低目标支持可靠性、不完整硬件记录和缺乏外部功耗测量。未来工作应使用来源分组数据、预注册多驾驶员测试、外部标注目标框、自然语音和缺失模态故障、模型隔离工作线程剖析、合格安装和外部能量测量。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号