一种用于风扰动莲蓬的鲁棒视觉跟踪方法,该方法能够减少目标识别(ID)切换的次数

《Computers and Electronics in Agriculture》:A robust visual tracking method for wind-disturbed lotus pods with reduced ID switches

【字体: 大 中 小 】 时间:2025年12月30日 来源:Computers and Electronics in Agriculture 8.9

编辑推荐:

  针对风吹动莲蓬动态摇摆导致的视觉跟踪难题,本文提出基于改进DeepSORT的LPDSORT算法。通过设计改进的ReID网络、复合匹配机制及ID生命周期管理模块,结合YOLOv5检测器,在实验中实现92.7%的MOTA和1.3%的IDSW,较DeepSORT性能提升显著,并通过三轴平台验证了实际应用效果。

  
李全龙|卢安杰|吕小龙|崔浩|李福邦|陈凯轩|马秋成
湘潭大学机械工程与力学学院,中国湘潭411105

摘要

莲蓬由于其特有的高重心,在受到气流干扰时会产生明显的摇摆运动。这种快速的位置变化使得自动采摘过程中的目标检测和定位变得复杂。本研究提出了一种改进型的DeepSORT多目标跟踪算法,称为LPDSORT(Lotus Pod DeepSORT),并基于该算法形成了一种用于跟踪受干扰莲蓬的鲁棒视觉跟踪方法。在LPDSORT中,首先根据莲蓬的外观特征设计了一个改进的重新识别(ReID)网络。其次,开发了一种复合匹配机制,包括IoU(交并比)匹配和欧几里得距离匹配,以提高检测结果与跟踪结果之间的匹配概率,从而减少ID(身份)切换(IDSW)的发生。第三,设计了一个莲蓬跟踪ID生命周期管理(IDLM)模块,该模块调整了ID分配策略,以缓解跟踪过程中跟踪ID值异常增加的问题。结合构建的YOLOv5莲蓬检测器,LPDSORT取得了以下性能结果:多目标跟踪准确率(MOTA)为92.7%,多目标跟踪精度(MOTP)为90.7%,识别F1分数(IDF1)为94.0%,IDSW为1.3%。与DeepSORT相比,其MOTA和IDF1分别提高了1.3%和9.0%,IDSW减少了87.5%。此外,与其他主流算法(如ByteTrack和BoTSORT)相比,它也表现出更好的综合跟踪性能。最后,该算法被部署在一个三轴视觉伺服定位测试平台上,并通过视觉跟踪实验验证了其实用性和可部署性。

引言

莲子是一种经济作物,分布于中国、东南亚、南亚和北美地区。它们富含营养和药用成分(Punia Bangar等人,2022年),常被用作新鲜水果、功能性食品和药材。采摘莲蓬以获取莲子是莲子生产的第一步,目前主要依赖人工劳动。然而,人工采摘耗时且劳动强度大,同时面临日益严重的劳动力短缺问题,这限制了莲子产业的发展。因此,迫切需要开发自动莲蓬采摘技术。
精确的识别和位置估计对于精准农业至关重要(Kumar,2025年)。它们也是自动莲蓬采摘的先决条件。通常情况下,莲蓬几乎静止不动,可以利用深度学习目标检测算法有效地进行识别和定位。近年来,相关方法在苹果、番茄、草莓等水果的识别研究中得到了验证(Du等人,2023年;Jia等人,2022年;Wang等人,2024年)。然而,莲蓬生长在湖泊和池塘等开放环境中,它们逆重力生长且重心较高,因此容易受到风的影响而剧烈摇摆(相关场景见图1)。
因此,在采摘机器人的视野范围内,可能会出现以下现象:目标莲蓬的位置发生显著变化,莲蓬暂时离开视野范围,多个莲蓬的相对位置发生变化,以及原本可见的莲蓬被遮挡。这些都对计算机视觉提出了挑战(Aggarwal,2025年)。
深度学习目标检测算法(例如YOLO系列和Faster R-CNN系列)旨在识别单个图像或视频帧中的物体(An等人,2024年)。它们缺乏跨帧物体关联的能力。因此,在用于识别移动的莲蓬物体时,这些算法容易发生目标丢失和身份切换,从而影响采摘的成功率。
近年来出现的多目标跟踪(MOT)算法可以解决视频序列中移动物体的连续识别问题。它们能够区分视频中每个目标的身份(ID),并获取相应的运动轨迹(Cao等人,2024年)。MOT算法利用深度学习目标检测算法从视频帧中获取物体检测信息,然后通过数据关联建立跨帧对应关系,保持每个目标的跟踪连续性,实现移动物体的连续跟踪和区分(Amosa等人,2023年)。目前,代表性的MOT算法包括SORT(Bewley等人,2016年)、DeepSORT(Wojke等人,2017年)、BoTSORT(Aharon等人,2022年)、ByteTrack(Zhang等人,2022年)等。
MOT算法已应用于农业工程领域。在物体计数和产量估计方面,Shen等人(2023年)开发了一种结合改进的YOLOv5和SORT算法的方法,用于在视觉系统连续运动条件下进行葡萄串计数。Zhang等人(2025a年)基于MOT和YOLOv5m检测器开发了一种自动猕猴桃计数系统,并对DeepSORT和ByteTrack MOT算法进行了计数精度比较。Cui等人(2023年)利用改进的YOLOv5和ByteTrack开发了一种基于低空无人机(UAV)视频的实时缺失水稻幼苗计数方法。Meng等人(2024年)将YOLOv7模型与DeepSORT结合,开发了一种自动计数不同成熟阶段樱桃番茄数量的方法。An等人(2024年)利用YOLOv8和改进的BoTSORT算法检测和计数不同生长阶段的草莓,从而优化了种植策略。上述计数研究利用了MOT算法能够区分视频序列中不同目标身份的优势,这对于确保计数准确性至关重要。然而,在计数情况下,图像中物体之间的相对运动表现出一定的规律性,这与受干扰物体的不规则运动不同。
在农产品移动目标跟踪领域,Yu等人(2025年)设计了一种改进的BoTSORT MOT算法,用于监测养猪场环境中猪的健康状况和运动模式。Zheng等人(2023年)研究了户外环境中奶牛的跟踪,并基于YOLOv7和ByteTrack构建了一个跟踪框架。Guo等人(2023年)基于YOLOv5和DeepSORT开发了一种奶牛跟踪方法。Zheng和Qin(2023年)提出了一种名为PrunedYOLO-Tracker的奶牛行为识别和跟踪方法,该方法基于C-BIoU(级联缓冲交并比)MOT算法。上述研究中关注的牲畜目标的运动特征与移动的莲蓬有所不同,后者在图像中可能表现出更快、更剧烈的运动。此外,现有的MOT算法在处理高速移动和频繁遮挡的物体时容易出现跟踪ID值异常增加和ID值难以恢复的问题。
本文以受到风干扰后运动的莲蓬作为研究对象,基于改进型的DeepSORT MOT算法(LPDSORT,Lotus Pod DeepSORT)提出了一种用于跟踪受干扰莲蓬的鲁棒视觉跟踪方法。设计了LPDSORT的ReID(重新识别)网络,并构建了一个莲蓬ReID图像数据集。开发了一种复合匹配机制,包括IoU匹配和欧几里得距离匹配。此外,还设计了一个莲蓬跟踪ID生命周期管理(IDLM)模块。结合构建的YOLOv5莲蓬检测器,对LPDSORT算法的性能进行了测试。此外,通过使用三轴视觉伺服定位测试平台进行的莲蓬视觉跟踪实验验证了该方法的实用性和可部署性。本研究的结果可以为受干扰莲蓬的自动采摘技术研究提供方法论支持。

受干扰莲蓬视觉跟踪方法概述

所开发的视觉跟踪方法包括YOLOv5莲蓬目标检测器和改进的DeepSORT跟踪器(即LPDSORT跟踪器),其工作流程如图2所示。其中,检测器负责提供莲蓬的检测边界框信息,跟踪器负责实现跨帧数据关联和跟踪管理。

检测数据集

在一处莲子种植基地获取了一批莲蓬图像(如图3所示)

检测器的性能评估

基于测试数据集对构建的YOLOv5莲蓬目标检测器进行了测试(测试图像大小设置为640×640,批量大小为16)。如表4所示,检测器的P值为97.6%,R值为92.5%,mAP值为97.4%,FPS值为303,参数数量为7012822。该检测器能够在种植环境中有效检测莲蓬物体。测试数据集中某些图像的检测效果如图9所示。此外,检测器的性能

结论

本研究提出了一种基于YOLOv5和改进的DeepSORT MOT算法的受干扰莲蓬视觉跟踪方法,命名为LPDSORT。使用跟踪测试数据集评估了LPDSORT的性能,并与其他主流MOT算法进行了比较分析。基于自主研发的三轴视觉伺服定位测试平台进行了视觉跟踪实验。主要结论如下:
  • 1)
    YOLOv5莲蓬目标检测器
CRediT作者贡献声明
李全龙:撰写——原始草稿、可视化、验证、软件、方法论、调查、正式分析、数据管理。卢安杰:撰写——审阅与编辑、撰写——原始草稿、验证、监督、软件、资源管理、项目管理、方法论、调查、资金获取、正式分析、数据管理、概念化。吕小龙:验证、调查、数据管理。崔浩:撰写——原始草稿、软件、调查。李福邦:
利益冲突声明
作者声明他们没有已知的可能会影响本文研究工作的财务利益或个人关系。
致谢
本工作得到了国家自然科学基金(项目编号:52205285、52175255)、湖南省教育厅科学研究基金(项目编号:24C0039)和湖南省自然科学基金(项目编号:2023JJ40629)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号