面向煤矿作业人员的深度学习警戒状态检测:多模态生理网络
《International Journal of Industrial Ergonomics》:Towards deep learning based vigilance state detection for coal mine operators: A multimodal physiological network
【字体:
大
中
小
】
时间:2026年06月23日
来源:International Journal of Industrial Ergonomics 3
编辑推荐:
齐奥梅倩|刘鸿瑞|李继祖|布文涛|孙涛中国太原理工大学经济管理学院,太原,030024
摘要:随着煤矿智能化的发展,安全监控中心操作员的警觉状态已成为影响生产安全的关键因素。为解决长时间监控任务导致的警觉性下降问题,本研究提出了一种基于多模态生理信号的警觉性检测方法。针对实际操
齐奥梅倩|刘鸿瑞|李继祖|布文涛|孙涛中国太原理工大学经济管理学院,太原,030024
摘要:随着煤矿智能化的发展,安全监控中心操作员的警觉状态已成为影响生产安全的关键因素。为解决长时间监控任务导致的警觉性下降问题,本研究提出了一种基于多模态生理信号的警觉性检测方法。针对实际操作需求,通过将警觉性成分与警觉性等级相结合,设计了多类警觉状态分类方法,最终得到九种不同的警觉状态标签。研究从处于九种不同警觉状态的操作员身上采集脑电图、心电图和皮肤电活动信号。为提升检测性能,本研究开发了多模态生理神经网络MP-Net。该网络整合了基于STFT的时频特征提取、分层注意力机制、深度可分离卷积残差模块以及多层跳跃连接,从而在降低计算复杂度的同时提高警觉状态检测性能。实验结果表明,仅使用1秒长的多模态生理信号片段,所提模型的检测准确率即可达到96.39%,在智能煤矿场景下的快速警觉性检测方面具有显著优势。此外,该模型还能对不同警觉状态进行细粒度分类,进一步证明了其在智能煤矿安全管理中实现高效精准警觉性检测的有效性。
引言:随着工业智能的不断进步,智能煤矿通过自动化集成采矿设备和远程视觉干预系统实现了无人或少人化开采作业(Wang等人,2022)。由于智能系统需承担高风险作业,安全监控中心的操作员在确保生产安全方面起着核心作用(Wang和Huang,2017)。操作员负责实时异常检测、应急响应以及决策支持,这些工作都需要始终保持高度的警觉性。因此,操作员的警觉性直接影响风险识别和事故预防的效果。具体而言,操作员依靠多个高分辨率LED显示系统来观察和分析矿面的实时状况,如图1所示。根据这些观察结果,他们能够及时做出判断、下达指令,并在必要时进行干预。该系统便于对供电、开采和运输作业进行远程监控和控制,从而减轻矿工的工作负担并提升作业安全性。然而,长时间盯着监控界面会导致警觉性下降,降低信息处理效率和决策准确性,进而增加事故风险(Thomson等人,2015)。煤矿事故主要归因于人为因素(Miao等人,2023;Stemn和Benyarku,2023)。根据人为因素分析与分类系统,不良状态是不安全行为的主要诱因(Liu等人,2018)。与警觉状态相关的问题仍占人为因素导致的事故的50%-70%,在所有事故原因中占比为5%-15%。因此,必须密切关注操作员的警觉状态。警觉性是指个体保持持续注意力并有效应对罕见但关键事件的能力(Warm等人,2008)。研究表明,警觉性并非单一概念,近年来被分为唤醒警觉性和执行警觉性两类(Luna等人,2021)。唤醒警觉性指的是个体的意识觉醒程度和生理激活水平,反映了对外部刺激的敏感度,通常通过麦克沃思计时测试来评估,以平均反应时间和失误次数作为衡量指标(Lim和Dinges,2008)。而执行警觉性则体现了个体在紧急情况下分配认知资源并执行任务的效率,通常通过持续注意力反应任务来评估,以命中率为主要衡量指标(Robertson等人,1997)。
目前,警觉性检测方法大致可分为主观方法和客观方法。主观方法通常涉及自我报告式测量(Yang等人,2023)。常用的量表包括卡罗林斯卡嗜睡量表,这是一个九点量表,用于在特定时间点评估主观警觉性(?kerstedt和Gillberg,1990),以及斯坦福嗜睡量表,这是一个七点量表,用于评估个体的疲劳程度(Hoddes等人,1973)。尽管主观方法具有简单、快捷、易于实施的优势,但其可靠性可能会受到主观偏差的影响。因此,通常会将主观方法与客观方法结合使用,以提高评估精度(Hasan等人,2022;Reinerman-Jones等人,2016)。客观方法则基于生理指标,包括脑电图、心电图和皮肤电活动等。脑电图作为大脑状态的直接反映,被认为是最有效的警觉性检测手段之一(Ju等人,2025)。通过快速傅里叶变换,脑电图信号可以被划分为五个频率带,即δ波(1 - 4赫兹)、θ波(4 - 8赫兹)、α波(8 - 13赫兹)、β波(13 - 30赫兹)和γ波(大于30赫兹)(Tran等人,2020)。研究表明,α波、θ波和β波与人类大脑的警觉性密切相关(Hasan等人,2022;Reinerman-Jones等人,2016)。以往的研究利用频谱功率比来探究疲劳程度和警觉性水平,如α/β、θ/β、(α + θ)/β以及(α + θ)/(α + β)等(Li等人,2024;Xing等人,2020)。心电图作为一种非侵入式的实时生理活动监测手段,也是警觉性检测的有效工具。从心电图中可得到的关键参数包括心率、心率变异性以及R - R间期(Thayer等人,2012)。值得注意的是,心率变异性已被证实是能反映警觉性水平的重要心电图衍生指标(Mu等人,2024)。作为一种时域特征,随着警觉性在长时间内下降,心率也会随之降低(Schmidt等人,2009)。此外,频域特征在警觉性研究中也起着至关重要的作用。低频功率、高频功率以及LF/HF比值被用来通过评估交感神经和副交感神经的活动来探究状态变化(Salam等人,2026)。皮肤电活动是自主神经系统活动的指标(Fowler等人,2026)。它主要反映交感神经系统的活动,在心理生理学研究中被广泛视为警觉性的衡量标准(Mehmood等人,2024)。Malathi等人(2018)曾利用皮肤电活动作为生理指标来检测驾驶员的疲劳程度。驾驶员警觉性远程控制系统通过传感器检测手指或手腕上的皮肤电活动值来判断驾驶员的警觉性,当警觉性低于临界阈值时就会向驾驶员发出警报(Dorrian等人,2008)。具体而言,皮肤电导率作为皮肤电活动的时域测量指标,常被用来表示觉醒程度(Marzi等人,2021)。
机器学习算法的快速发展为基于生理信号识别的状态检测提供了重要的技术支持(Ji等人,2026;Wozniak和Zahabi,2024)。然而,这类方法在模型构建过程中通常严重依赖先验知识,在处理个体差异和复杂的现实场景时仍存在一定局限性(Hasan等人,2022)。相比之下,深度学习通过直接从数据集中学习特征表示并映射关系,提升了检测性能(Tavakoli和Heydarian,2022)。因此,深度学习技术常被用于基于多模态生理信号分析情绪和生理状态(Shayesteh等人,2023)。Chen等人(2022)利用卷积神经网络分析脑电图、心电图和肌电图信号,用于检测高铁驾驶员的警觉性水平,取得了96.15%的准确率。尽管基于多模态生理信号的警觉性研究已取得一定进展,但在实际应用中仍存在一些不足。首先,不同职业环境下的生理信号特征存在差异。目前的警觉性研究主要聚焦于驾驶员(Lu等人,2022;Zhang和Etemad,2021)、交通调度员(Li等人,2019)以及高铁操作员(Chen等人,2022;Zhai等人,2021),而针对智能煤矿应用场景的研究相对较少。由于任务特点和操作要求存在显著差异,相关研究的成果无法直接应用于智能煤矿场景。其次,大多数现有研究直接采用二元或三元方案对警觉性水平进行分类(Chen等人,2022;Festa等人,2025;Xu等人,2025),没有充分考虑到由警觉性成分和警觉性等级共同作用所产生的生理信号差异。仅依据单一的警觉性等级维度进行分类,会削弱模型表征复杂状态的能力,从而限制深度学习模型在现实场景中的检测准确率和泛化性能。第三,在高风险煤矿企业中,系统需要能够在短时间内快速准确地检测出操作员的异常状态,以确保生产安全。然而,现有研究在基于短时间生理信号的有效特征提取和快速状态检测方面仍有提升空间(Donald等人,2015;Huang等人,2025;Zhang等人,2023),这使得难以完全满足快速检测和安全预警的实际需求。解决这些局限性对于确保智能煤矿的安全运行具有重要意义。
因此,本研究以煤矿作业环境为背景,充分考虑了智能煤矿操作员的实际作业特点。研究从警觉性成分和警觉性等级两个维度对警觉状态进行了细化,最终形成了九种不同的警觉状态。研究从处于不同警觉状态的操作员身上采集脑电图、心电图和皮肤电活动等多模态生理信号。为从这些生理信号中有效提取具有区分度的信息,实现基于短时间生理信号的警觉性检测,本研究提出了一种融合频率注意力和通道注意力机制的多模态生理网络MP-Net。此外,为满足煤矿中快速检测操作员警觉性的需求并进一步提升整体检测性能,本研究系统分析了该模型的时间窗口和批量大小设置,以确定更适用于煤矿场景的配置。实验结果表明,仅使用1秒长的多模态生理信号,所提方法的警觉性检测准确率可达96.39%。该方法能够及时检测出操作员的警觉状态,从而为煤矿生产安全提供有力的技术支持,也为智能煤矿安全管理中多维度复杂状态检测奠定了更为坚实的基础。
方法部分:图2展示了基于多模态生理信号的警觉性检测的整体方法流程。该过程包括四个步骤:(1)数据采集,(2)数据预处理,(3)MP-Net模型构建,(4)警觉性检测与结果分析。在第一步中,受试者在不同的警觉状态下完成实验任务,同时实时记录脑电图、心电图和皮肤电活动信号。通过将三种警觉性成分与KSS量表数据及任务表现数据相结合,得到了九种警觉状态。受试者的KSS评分和任务表现情况如图6所示。在每个实验阶段开始前,清醒、稍显困倦和困倦状态的KSS评分分别为2.67 ± 0.58、5.40 ± 0.62和7.51 ± 0.65。在每个实验阶段结束后,相应的KSS评分分别为3.01 ± 0.92、5.86 ± 0.92和8.15 ± 0.79。随着警觉性从清醒逐渐降至困倦状态,KSS评分呈逐步上升趋势。基于唤醒警觉性和执行警觉性方法的统计分析:为提升模型表征复杂警觉状态的能力,以及提高其在现实场景中的检测准确率和泛化性能,研究将警觉性分为唤醒警觉性和执行警觉性两类。与心电图和皮肤电活动相比,脑电图在区分唤醒警觉性和执行警觉性方面具有更高的灵敏度。这一发现与Kouba等人(2023)和Van Weelden等人(2022)的先前研究结果一致。因此,后续研究将重点探讨……
结论:本研究分析了智能煤矿中的不安全因素,强调了安全监控中心操作员警觉性检测的必要性。据此,提出了MP-Net模型用于检测操作员的警觉状态,同时深入研究了不同生理信号对唤醒警觉性和执行警觉性的不同敏感度。可得出以下结论:(1)所提方法仅使用1秒长的信号片段,就能实现96.39%的检测准确率……
资金支持:本研究得到了中华人民共和国教育部人文社会科学研究基金的资助(项目编号:23YJA630054)。作者对此表示感谢。
作者贡献说明:齐奥梅倩:概念构建、研究设计、方法论研究、可视化处理、初稿撰写、修改润色。刘鸿瑞:数据整理、定量分析、软件应用、可视化处理、修改润色。李继祖:资金筹集、监督、写作——审稿与编辑。卜文涛:调研、写作——审稿与编辑。孙涛:调研。利益冲突声明作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。致谢作者感谢中华人民共和国教育部人文社会科学研究基金的支持(项目编号:23YJA630054)。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号