MR2-ByteTrack:基于CNN和Transformer的视频目标检测技术,用于增强人工智能功能的嵌入式视觉传感器节点

《IEEE Access》:MR2-ByteTrack: CNN and Transformer-based Video Object Detection for AI-augmented Embedded Vision Sensor Nodes

【字体: 大 中 小 】 时间:2026年05月19日 来源:IEEE Access 3.6

编辑推荐:

   摘要: 现代智能视觉传感器需要具备设备自身的处理能力来处理视频流,因为由于带宽、延迟和隐私方面的限制,云计算往往不可行。然而,这些传感系统通常依赖于内存和计算能力有限的超低功耗微控制器(MCU),这使得需要特征存储或多帧

  

摘要:

现代智能视觉传感器需要具备设备自身的处理能力来处理视频流,因为由于带宽、延迟和隐私方面的限制,云计算往往不可行。然而,这些传感系统通常依赖于内存和计算能力有限的超低功耗微控制器(MCU),这使得需要特征存储或多帧缓冲的传统视频对象检测方法无法实现。为了解决这一挑战,我们提出了Multi-Resolution Rescored ByteTrack(MR2-ByteTrack)——一种专为基于MCU的嵌入式视觉节点设计的视频对象检测(VOD)方法。MR2-ByteTrack通过在全分辨率和低分辨率推理之间切换来降低计算成本,并通过ByteTrack将不同帧中的检测结果关联起来,同时利用Rescore算法纠正误分类情况,该算法应用概率并集规则来汇总各帧的检测置信度分数。我们将这种方法应用于基于CNN的检测器和基于Transformer的模型,证明了其在具有根本不同空间处理能力的架构中的通用性。在ImageNetVID上的实验表明,MR2-ByteTrack保持了较高的准确性,基于CNN的模型的mAP分数达到了49.0,基于Transformer的模型达到了48.7;同时,它将CNN的乘累加操作减少了53%,将Transformer的乘累加操作减少了32%。当在GAP9这种超低功耗RISC-V多核MCU上部署时,与仅处理全分辨率图像相比,该方法可节省高达55%的能源,从而实现了首个基于Transformer的实时VOD功能,适用于MCU级别的嵌入式视觉节点。 代码链接:https://github.com/Bomps4/Multi_Resolution_Rescored_ByteTrack/tree/IEEE_Access
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号