《Expert Systems with Applications》:Real-time Analysis of Indoor Sports Game Situations through Deep Learning-based Classification
编辑推荐:
为提升室内运动直播的自动化水平,解决动态镜头控制依赖人工、资源消耗大的问题,Bruno Cabado等人开展了一项基于深度学习的实时比赛局势分类研究。他们提出了一套端到端处理流程,利用YOLO模型检测球员和球,结合跟踪技术生成包含位置和速度矢量的合成帧表示,并采用定制DenseNet进行分类。该系统在手球和篮球比赛视频上分别实现了96.1%和92.5%的宏平均F1分数,单帧推理时间低于4毫秒,全流程处理速度超过25帧/秒,成功部署于生产环境,证明了其在资源有限条件下实现专业级自动直播的潜力和跨运动项目的可迁移性。
随着体育赛事覆盖需求的日益增长,尤其是来自中小型团队、联合会和地方机构的需求,对高效转播解决方案的呼声越来越高。传统的现场直播制作通常需要大量的人力资源,这对于非专业或低级别组织机构而言构成了显著的门槛。观众期待获得专业级的观赛体验,这要求制作方能够实时识别比赛中的关键时刻(如罚球、暂停),并动态调整摄像机镜头以提供最佳视角。然而,人工操作不仅成本高昂,也难以保证在所有情境下都能做出最优、最及时的决策。因此,开发一种能够自动、实时分析比赛视频并对关键局势进行分类的技术,对于降低制作成本、提升转播质量、并让更广泛的受众享受到高质量的体育内容具有迫切意义。
为此,来自Universidade da Coru?a, CITIC研究中心的Bruno Cabado、Bertha Guijarro-Berdi?as和Emilio J. Padrón在《Expert Systems with Applications》期刊上发表了一项研究,题为“Real-time Analysis of Indoor Sports Game Situations through Deep Learning-based Classification”。这项研究旨在为室内“入侵性”运动(如手球、篮球)的直播提供一种实时的比赛局势自动分类解决方案。与以往专注于单个球员动作识别的研究不同,该工作致力于从全局视角理解赛场上的高阶情境信息,从而对整个比赛的动态进行宏观把握。
为达成研究目标,作者团队设计并实现了一套完整的视频处理流水线。这套系统以手球为主要研究案例,并以篮球作为次要验证场景,展示了方法的可迁移性。整个流程始于从标准广播摄像机获取原始视频帧。随后,系统利用微调后的YOLOv4(You Only Look Once)模型进行目标检测,定位球员、裁判和球。通过目标跟踪计算每个球员的速度矢量。接着,系统将检测到的目标位置、速度矢量以及场地上的关键区域(如球门、罚球线)信息,通过一个4点透视变换映射到一个统一的、鸟瞰视角的标准化空间,生成一个224×224像素的二维合成图像来表征当前比赛状态。这个合成帧有效剥离了真实视频图像在体育馆设施、光照、摄像机型号和架设方式等方面的复杂性和多变性,使分类任务得以简化。最后,研究采用了一个基于DenseNet架构定制的、轻量级的卷积神经网络(CNN)分类器(作者称之为densenet23),将每个合成帧分类为七种预定义的比赛局势之一:左/右方进攻、左/右方反击、左/右方罚球(在手球中对应7米罚球,在篮球中对应罚球)以及暂停。
该研究主要依托一个名为“Play by Play”的公开数据集,该数据集包含了超过30小时、共计20场手球和2场篮球比赛的视频素材。从中提取并生成了总计超过36万张已标注的合成帧用于模型训练和测试。研究人员对包括AlexNet、VGG、ResNet、MobileNet、EfficientNet等在内的超过30种CNN架构进行了广泛的评估和比较。结果表明,基于DenseNet的架构在性能和效率之间取得了最佳平衡。最终选定的densenet23模型在仅包含48万个参数的情况下,在手球测试集(包含118,129张未见过的图像)上取得了98.6%的准确率和96.1%的宏平均F1分数。在篮球测试集(包含12,390张图像)上也达到了97.2%的准确率和92.5%的F1分数,有力地证明了该流水线在不同运动间的可迁移性。在时间性能上,单个图像通过densenet23分类器的推理时间在GPU上低于4毫秒。整合了目标检测、跟踪、合成帧生成和分类的完整端到端流水线,在GPU加速下仅需34.04毫秒即可处理一帧,相当于每秒处理超过25帧,完全满足了实时直播的严格延迟要求。
4.1. 数据集的构成与处理
研究使用了专门为手球和篮球比赛局势分类创建的“Play by Play”数据集。该数据集源于真实比赛视频,通过前述流水线预处理后,生成了包含七种局势类别的合成帧图像。研究人员采用了“跳帧”方式进行数据筛选以增加多样性,并应用了水平翻转和垂直翻转的数据增强技术(翻转时相应调整“左/右”类别标签),从而将训练数据集规模扩大了四倍,有效提升了模型的泛化能力。
4.2. 分类器架构的选择与优化
在众多测试的CNN架构中,DenseNet因其在准确率、F1分数和网络简洁性方面的综合优势而被选为基线。为了进一步满足实时性要求,作者对DenseNet进行了简化,设计了多个变体(如densenet89, densenet41, densenet23, densenet13)。实验表明,densenet23在保持高分类性能(手球F1分数0.961,篮球0.925)的同时,参数量仅有48万,实现了效率与性能的最佳权衡,因此被确定为最终分类器。
4.3. 关键组件的影响分析
通过消融实验,量化了合成帧中不同信息成分对分类性能的贡献:
- •
速度矢量的重要性:当合成帧中移除表示球员运动方向的箭头(即速度矢量)时,模型的分类性能显著下降,手球和篮球的F1分数分别降至0.873和0.788。这证明捕获时序动态信息对于区分快速转换的局势(如反击与进攻)至关重要。
- •
场地区域信息的作用:当移除合成帧中绘制的场地关键区域(如手球的球门、罚球圈,篮球的三分线、禁区)时,性能也有可见的下降。这表明空间上下文信息有助于模型更精确地定位和理解特定比赛事件(如罚球)发生的场景。
4.4. 系统性能与可解释性
最终的系统在生产线环境中得到了成功部署,用于增强自动直播。除了高精度和实时性,研究还利用先进的可解释性技术对生成的模型进行了深入分析,验证了模型决策的合理性,例如确认其确实关注于球员群体的整体移动模式和球的位置来进行分类。
本研究成功开发并验证了一套用于室内入侵性运动比赛局势实时自动分类的深度学习系统。其核心创新在于提出了一种包含位置和速度矢量的二维合成图像表示法,该表示法有效标准化了比赛动态,降低了对原始视频复杂背景的依赖。基于此表示法设计的轻量级DenseNet分类器(densenet23)在准确率和速度上均表现出色。
研究结论强调了该方法的实用性与通用性:首先,系统仅依赖原始视频流,无需在场地安装额外传感器,为资源有限的团队提供了一种低成本、非侵入式的解决方案。其次,全流程端到端的处理能力满足了现场直播自动化的苛刻实时性要求。最后,通过在手球和篮球两个不同运动上的验证,证明了该框架具有良好的可迁移性,未来有望扩展到其他具有类似动态特性的入侵性运动(如足球、橄榄球等)。
这项工作不仅为自动体育节目制作提供了关键技术,其生成的比赛局势分类数据也可用于后续的战术分析和比赛动态研究,具有广泛的体育数据分析应用前景。论文中涉及的完整数据集和模型细节为后续相关研究提供了有价值的资源。