
-
生物通官微
陪你抓住生命科技
跳动的脉搏
利用视角整合的多任务多专家学习框架进行驾驶员注意力分散检测
《Scientific Reports》:Driver distraction detection using a perspective-integrated multi-task and multi-expert learning framework
【字体: 大 中 小 】 时间:2026年08月28日 来源:Scientific Reports 4.9
编辑推荐:
摘要 驾驶员分心是全球交通事故的主要诱因之一,因此可靠的驾驶员监测对于智能交通系统至关重要。然而,大多数基于深度学习的方法依赖于单一视角的摄像头数据,这在遮挡、视野有限和光照变化的情况下会降低系统的鲁棒性。本研究提出了PIMENet(一种集成多视角专家的网络)
驾驶员分心是全球交通事故的主要诱因之一,因此可靠的驾驶员监测对于智能交通系统至关重要。然而,大多数基于深度学习的方法依赖于单一视角的摄像头数据,这在遮挡、视野有限和光照变化的情况下会降低系统的鲁棒性。本研究提出了PIMENet(一种集成多视角专家的网络),它将多视角驾驶员分心检测问题视为一个具备视角意识的专家路径选择问题。与将来自独立训练的分类器的结果进行后期融合不同,PIMENet引入了“视角感知的多专家混合机制”(PA-MMoE)模块,该模块根据语义视觉视角对专家进行组织。该框架定义了针对身体、面部和手部信息的单一专家模型,以及处理身体-面部、身体-手部和面部-手部交互的成对专家模型。任务条件化的注意力门动态地将每个特定于视角的任务引导至最相关的专家模型进行处理,而公正的多任务学习机制则促进了各项任务之间的平衡优化。此外,通过用PoolFormer模块替换ConvNeXt的最后一层,开发出了一种参数效率更高的ConvFormer编码器,这在提高分类性能的同时降低了模型复杂度。在严格的、与驾驶员无关的评估协议下,PIMENet在10类的3PDD数据集上实现了97.01%的准确率,在更具挑战性的22类100驾驶员数据集上达到了89.90%的准确率,显示出在多视角驾驶员分心检测方面的出色竞争力。在NVIDIA Jetson Xavier平台上的部署测试进一步表明,该框架适用于车载决策级监测系统。这些发现表明,PIMENet能够支持更可靠的驾驶员监测系统,并为更安全的智能交通应用做出贡献。