莲子是一种经济作物,分布于中国、东南亚、南亚和北美地区。它们富含营养和药用成分(Punia Bangar等人,2022年),常被用作新鲜水果、功能性食品和药材。采摘莲蓬以获取莲子是莲子生产的第一步,目前主要依赖人工劳动。然而,人工采摘耗时且劳动强度大,同时面临日益严重的劳动力短缺问题,这限制了莲子产业的发展。因此,迫切需要开发自动莲蓬采摘技术。
精确的识别和位置估计对于精准农业至关重要(Kumar,2025年)。它们也是自动莲蓬采摘的先决条件。通常情况下,莲蓬几乎静止不动,可以利用深度学习目标检测算法有效地进行识别和定位。近年来,相关方法在苹果、番茄、草莓等水果的识别研究中得到了验证(Du等人,2023年;Jia等人,2022年;Wang等人,2024年)。然而,莲蓬生长在湖泊和池塘等开放环境中,它们逆重力生长且重心较高,因此容易受到风的影响而剧烈摇摆(相关场景见图1)。
因此,在采摘机器人的视野范围内,可能会出现以下现象:目标莲蓬的位置发生显著变化,莲蓬暂时离开视野范围,多个莲蓬的相对位置发生变化,以及原本可见的莲蓬被遮挡。这些都对计算机视觉提出了挑战(Aggarwal,2025年)。
深度学习目标检测算法(例如YOLO系列和Faster R-CNN系列)旨在识别单个图像或视频帧中的物体(An等人,2024年)。它们缺乏跨帧物体关联的能力。因此,在用于识别移动的莲蓬物体时,这些算法容易发生目标丢失和身份切换,从而影响采摘的成功率。
近年来出现的多目标跟踪(MOT)算法可以解决视频序列中移动物体的连续识别问题。它们能够区分视频中每个目标的身份(ID),并获取相应的运动轨迹(Cao等人,2024年)。MOT算法利用深度学习目标检测算法从视频帧中获取物体检测信息,然后通过数据关联建立跨帧对应关系,保持每个目标的跟踪连续性,实现移动物体的连续跟踪和区分(Amosa等人,2023年)。目前,代表性的MOT算法包括SORT(Bewley等人,2016年)、DeepSORT(Wojke等人,2017年)、BoTSORT(Aharon等人,2022年)、ByteTrack(Zhang等人,2022年)等。
MOT算法已应用于农业工程领域。在物体计数和产量估计方面,Shen等人(2023年)开发了一种结合改进的YOLOv5和SORT算法的方法,用于在视觉系统连续运动条件下进行葡萄串计数。Zhang等人(2025a年)基于MOT和YOLOv5m检测器开发了一种自动猕猴桃计数系统,并对DeepSORT和ByteTrack MOT算法进行了计数精度比较。Cui等人(2023年)利用改进的YOLOv5和ByteTrack开发了一种基于低空无人机(UAV)视频的实时缺失水稻幼苗计数方法。Meng等人(2024年)将YOLOv7模型与DeepSORT结合,开发了一种自动计数不同成熟阶段樱桃番茄数量的方法。An等人(2024年)利用YOLOv8和改进的BoTSORT算法检测和计数不同生长阶段的草莓,从而优化了种植策略。上述计数研究利用了MOT算法能够区分视频序列中不同目标身份的优势,这对于确保计数准确性至关重要。然而,在计数情况下,图像中物体之间的相对运动表现出一定的规律性,这与受干扰物体的不规则运动不同。
在农产品移动目标跟踪领域,Yu等人(2025年)设计了一种改进的BoTSORT MOT算法,用于监测养猪场环境中猪的健康状况和运动模式。Zheng等人(2023年)研究了户外环境中奶牛的跟踪,并基于YOLOv7和ByteTrack构建了一个跟踪框架。Guo等人(2023年)基于YOLOv5和DeepSORT开发了一种奶牛跟踪方法。Zheng和Qin(2023年)提出了一种名为PrunedYOLO-Tracker的奶牛行为识别和跟踪方法,该方法基于C-BIoU(级联缓冲交并比)MOT算法。上述研究中关注的牲畜目标的运动特征与移动的莲蓬有所不同,后者在图像中可能表现出更快、更剧烈的运动。此外,现有的MOT算法在处理高速移动和频繁遮挡的物体时容易出现跟踪ID值异常增加和ID值难以恢复的问题。
本文以受到风干扰后运动的莲蓬作为研究对象,基于改进型的DeepSORT MOT算法(LPDSORT,Lotus Pod DeepSORT)提出了一种用于跟踪受干扰莲蓬的鲁棒视觉跟踪方法。设计了LPDSORT的ReID(重新识别)网络,并构建了一个莲蓬ReID图像数据集。开发了一种复合匹配机制,包括IoU匹配和欧几里得距离匹配。此外,还设计了一个莲蓬跟踪ID生命周期管理(IDLM)模块。结合构建的YOLOv5莲蓬检测器,对LPDSORT算法的性能进行了测试。此外,通过使用三轴视觉伺服定位测试平台进行的莲蓬视觉跟踪实验验证了该方法的实用性和可部署性。本研究的结果可以为受干扰莲蓬的自动采摘技术研究提供方法论支持。