面向深度学习课堂学生动作识别与参与度分析的多摄像头视频数据集与基准评估

《Sensors》:A Multicamera Classroom Dataset for Deep Learning-Based Student Action Recognition and Engagement Analysis

【字体: 大 中 小 】 时间:2026年10月21日 来源:Sensors 4.0

编辑推荐:

  课堂行为分析(classroom behavior analysis)已成为开发智能教育环境(intelligent educational environments)的一个相关领域,能够对学生参与度(engagement)和互动进行连续、非侵入式理解。在本工

  
课堂行为分析(classroom behavior analysis)已成为开发智能教育环境(intelligent educational environments)的一个相关领域,能够对学生参与度(engagement)和互动进行连续、非侵入式理解。在本工作中,研究人员提出了一个新的视频片段数据集,用于识别课堂中的学生行为,其行为类别源自观察协议(observational protocols)。该新数据集还具有通过四个不同摄像头获取学生动作的特征,这些摄像头布置于教室前部和侧部。随后,该数据集用于训练最先进的视频行为分类(video behavior classification)模型,包括多尺度视觉Transformer(Multiscale Vision Transformer,MViTv2-S)、Swin Transformer、SlowFast和X3D。结果表明,在分析准确率(accuracy)和F1分数(F1-score)时,MViTv2-S具有更好的性能。结果表面前置摄像头为74.44 ± 0.45,侧置摄像头为70.88% ± 1.04,证明两种摄像头配置对学生动作识别均有效。当通过聚合分类动作评估参与度时,达到83.33%的准确率和80.42%的宏F1分数(macro F1-score)。结果凸显了基于深度学习的方法用于课堂行为分析的潜力,提供了可能支持教学支持、学生参与度评估以及可解释和可扩展智能教育系统(interpretable and scalable intelligent educational systems)开发的见解。
研究背景方面,课堂学生参与度评估常依赖观察、问卷和自评量表等人工工具,已有研究将参与度估计分为人工、半自动和自动三类。人工方法虽能提供信息,但观察多在离散时间间隔进行,难以捕捉整节课中的行为变化,尤其在大班中更困难;同时结果受观察者主观差异影响,可能影响分析一致性。随着人工智能、深度学习和计算机视觉(computer vision,CV)发展,自动化动作检测、行为模式识别以及参与度和注意力的连续度量成为可能。但教育场景中的实时行为分析仍面临多人同时跟踪、复杂场景鲁棒性、模型计算成本和可解释性等挑战。尽管已有基于面部表情识别、多人目标跟踪和多类课堂行为数据集的研究,仍需要更贴近真实课堂、多视角、可支持参与度推断的数据与系统评估。为此,研究人员构建了一个基于BOSS和MS-CISSAR等课堂观察协议、适应巴西高等教育背景的多摄像头数据集,并使用真实大学课堂视频训练和评估深度学习模型,以比较不同架构在真实课堂条件和教学需求下的表现。该工作的贡献包括:构建包含42,036个2.13 s视频片段、跨多节课和不同学生群体的真实数据集;定义注意听讲、使用手机、使用电脑、阅读、书写和走动等课堂行为类别;系统评估模型并识别表现较优架构;由检测行为提取可解释的参与度指标。

关键技术方法:在巴西一所高等教育机构连续录制两个学期课堂,共468 h、80名唯一学生(每班10–50人,18–45岁);以四台Intelbras iM5 Full HD(1080p)摄像头(两前置、两侧置)采集。使用CVAT逐帧标注学生及课桌区域边界框(bounding box),定制Python脚本裁剪为2.13 s、30 FPS、64帧视频片段,并由第二标注者复核。按录制日和学期划分训练、验证、测试集,采用Kinetics-400预训练视频分类网络微调,以准确率、宏F1和AUC-ROC评估。

研究结果如下。4.1 前置摄像头训练:研究以F1指标选择最佳超参数,并在测试集比较准确率、宏F1和AUC-ROC。MViTv2-S取得最高平均性能,准确率74.44% ± 0.45、宏F1 72.79% ± 0.63、AUC-ROC 84.71% ± 0.26;Swin3D-S准确率72.86% ± 1.21,表现具竞争力但低于MViTv2-S;SlowFast-R101和X3D-M准确率约70–71%,X3D-M准确率70.72% ± 0.60,且GFLOP为6.7、参数3.9 M,显示准确率与计算复杂度之间的较好折中。混淆矩阵显示writing与reading、paying attention与on computer之间存在误分类,moving因站立姿态和高速运动特征而精确率较高。4.2 侧置摄像头训练:MViTv2-S在侧置视角三个指标上仍表现最佳;SlowFast-R101和X3D-M性能下降。混淆矩阵显示reading与writing混淆持续,模型对reading精确率较高且召回率显著增加,但writing召回率下降、多数误判为reading;on computer有25.6%的数据被误判为paying attention。结果表明侧置视角虽提供不同信息,但未从根本上解决相似动作区分问题。4.3 整个数据集训练:采用前置和侧置单独训练得到的最佳参数,MViTv2-S在完整数据集上保持最高平均性能,F1较单视角有提升;混淆模式与前置摄像头相似,writing召回率为72.24%,较前置结果下降,作者将其归因于侧置混淆矩阵中的混淆。SlowFast-R101和X3D-M低于70%,X3D-M因更轻量而在成本效益比较中优于SlowFast-R101。逐类召回率和精确率显示,on computer召回率低于70%但精确率为80%,paying attention精确率较低、假阳性较多;前置配置更常出现较高召回,但前置与侧置样本量和类别分布不完全相同,不能将差异仅归因于视角。留一视角评估(leave-one-view-out)显示,联合数据训练的MViTv2-S在前置测试集准确率74.13% ± 1.53、宏F1 73.16% ± 1.34,接近仅前置训练的74.44% ± 0.45和72.79% ± 0.63;在侧置测试集准确率由70.88% ± 1.04升至72.92% ± 1.38,宏F1由70.17% ± 1.10升至72.70% ± 1.40,AUC-ROC由82.34% ± 0.64升至83.75% ± 0.79,说明多视角有助于侧置识别且不明显损害前置性能。4.4 参与度水平:将动作类别聚合为EL1–EL3后,整体准确率83.33%、宏F1 80.42%。EL3召回率84.58%、精确率86.81%,writing与reading同属EL3,其混淆对整体参与度评估影响较小;EL2仅含on computer,召回率约64.98%,主要与EL3混淆,233/291个误分至EL3的样本对应paying attention,且电脑既可用于记笔记等学习活动也可能导致分心,需结合教学情境解释;EL1由moving和on phone组成,召回率91.06%,误分类较少,表明模型对低参与度行为识别较强。4.5 与相关工作比较:相关研究使用YOLO检测on phone、sleeping、writing、standing和raising hand,或使用I3D分类课堂动作;本数据集每个视频片段仅含一名学生,与覆盖多名学生的数据集不同。moving类召回率为97%,相关研究报告walking in class为89.1%。与使用MSSTGCN且类别相近的研究相比,该研究报告准确率87%,本研究中MViTv2-S在前置摄像头数据上最佳运行准确率为75.06%;共同类别中,该研究writing和playing with a mobile phone召回率分别为90.7%和92.7%,本研究分别为81.97%和82.80%;其listening(类似本研究的paying attention)为89.6%,本研究paying attention为87.55%;reading差异较大,该研究为87.2%,本研究为31.89%。原文据此指出,姿态估计算法可能有助于区分writing和reading。

讨论部分总结:研究人员记录了468 h课堂并初始标注多类行为,但完整标注耗时且资源密集;固定座位、重复视觉特征和姿态模式造成样本冗余,并可能引发过拟合担忧。教室成排座位导致遮挡和邻座“噪声”,学生与摄像头距离限制小物体识别;光照变化和学生外观变化增加标注复杂性。数据仅来自巴西单一高等教育机构,限制向其他教育环境尤其低龄学生的泛化。raising hand和sleeping等行为课堂中出现少,未纳入训练,可能使数据偏向常见行为;约2000个片段/类被选以平衡类别,实际每类1578–2995个。训练和验证按时间划分以减少数据泄漏,但14名学生同时出现在训练和测试集,需考虑其影响;标注协议缺少Cohen’s kappa或百分比一致性等定量一致性指标。数据集缺乏标准化也限制与其他数据集的直接比较和模型泛化评估。

研究结论(译/概述):本工作提出了一种新数据集构建方法,并训练了应用于学校环境的先进计算机视觉视频模型。数据集以巴西高等教育机构本科生真实课堂为特点,多小时录制覆盖不同课程和时刻,显著增加多样性;四台摄像头从多角度捕捉学生动作。通过该数据集评估五种先进神经网络,基于Transformer的网络优于非Transformer网络,MViTv2-S在全部指标和三种场景中表现最佳。摄像头角度未影响某些类别如paying attention的性能;侧置摄像头下writing与reading混淆发生变化,writing更易被混淆为reading;on computer因学生用笔记本电脑听课而与paying attention相似,难以获得更高准确率。未来工作将把成果转化为实时Web应用,利用边缘计算(edge computing)和5G网络生成可操作见解;探索降低Transformer模型推理时间的方法;研究模型向小学等多样环境的泛化;针对学生常同时进行重叠活动(如边写字边使用手机)采用多标签(multi-label)方法;并探索可借助文本描述视频情境的大语言模型(Large Language Models,LLMs),以获得更全面、情境化的学生行为分析,最终促进更有效和自适应的学习环境。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号