多尺度混合Mamba网络:一种面向自动驾驶的轻量级语义分割新架构

《Cognitive Robotics》:Multi-scale Hybrid Mamba Network for Lightweight Semantic Segmentation

【字体: 大 中 小 】 时间:2026年04月05日 来源:Cognitive Robotics CS8.4

编辑推荐:

  在城市自动驾驶系统的环境感知中,实时、高精度的语义分割面临模型效率与准确性难以兼得的挑战。卷积神经网络(CNN)难以建模长程依赖,而基于自注意力机制的Transformer计算复杂度高。为此,该研究提出了一种名为Multi-scale Hybrid Mamba Network (MHMNet) 的新型轻量级语义分割框架。它通过在编码器中引入多分支特征聚合模块(MFAB)增强局部多尺度特征提取,在解码器中设计混合视觉状态空间模块(HVSS)协同建模局部细节与全局上下文,并采用门控特征选择头(GFSH)抑制噪声通道干扰。该模型仅含0.77M参数,在Cityscapes和CamVid数据集上mIoU分别达到71.48%和69.5%,在显著降低计算复杂度的同时保持了有竞争力的分割精度。

  
在城市复杂路况下,让自动驾驶汽车“看懂”周围环境,是保障其安全行驶的关键。这项任务的核心是“语义分割”,即给输入图像的每一个像素都打上精确的标签,区分出哪里是道路、车辆、行人,哪里是建筑物。然而,这项技术的落地面临着苛刻的“效率瓶颈”:自动驾驶系统通常部署在计算资源有限的嵌入式平台上,既要求分割得又快又准,又要求模型不能太“臃肿”,否则难以实时运行。
传统的解决方案主要基于卷积神经网络(CNN),它们擅长捕捉局部特征,效率也高,但“视野”有限,难以理解大场景的全局语义关系,容易导致分割结果支离破碎。后来,基于自注意力机制的Transformer模型被引入,它能够建立长程依赖,提升全局一致性,但其计算量会随着图像分辨率的提高呈平方级增长,在需要处理高分辨率道路图像时显得“力不从心”,难以满足实时性要求。
为了解决这一矛盾,一篇发表在《Cognitive Robotics》上的研究论文提出了一种创新的轻量级语义分割框架——多尺度混合Mamba网络(MHMNet)。该研究巧妙地将擅长局部特征提取的CNN与一种新兴的、具有线性计算复杂度的状态空间模型(SSM)Mamba相结合,旨在鱼与熊掌兼得:既拥有CNN的高效局部建模能力,又具备Mamba高效捕获长程依赖的优势,从而在严格的计算限制下实现高精度的实时语义分割。
为了达成这一目标,研究人员运用了几个关键技术方法。首先是多尺度混合特征编码:他们在编码器中设计了多分支特征聚合块(MFAB),通过将特征通道拆分为四路,分别进行通道注意力、空间注意力以及不同卷积核(3x3和5x5)的深度卷积处理,最后再融合,以此高效地提取和融合跨尺度、多维度的细节特征。其次是混合全局-局部解码:在解码器阶段,他们构建了混合视觉状态空间模块(HVSS)。该模块的核心是一个混合二维选择性扫描(HSS2D)单元,它将输入特征一分为二,一路通过多尺度卷积(3x3, 5x5, 7x7)进行局部增强,另一路则通过SS2D模块(基于Mamba的二维状态空间建模单元)以线性复杂度捕获全局上下文,最后将两路特征拼接,实现了局部细节与全局语义的互补融合。最后是自适应特征选择:在网络的末端,他们引入了门控特征选择头(GFSH)。这个模块利用全局平均池化获取上下文信息,通过一个轻量的子网络动态生成一个通道门控信号,对解码器输出的特征进行重加权,从而自适应地强调判别性特征并抑制噪声通道的干扰,进一步提升分割精度。
研究团队在Cityscapes和CamVid这两个主流的自动驾驶场景分割数据集上进行了全面的实验验证,并与一系列先进的轻量级分割模型进行了对比。
模型整体性能表现优异
实验结果表明,提出的MHMNet模型在参数量(Params)和计算量(FLOPs)极低的情况下,取得了具有竞争力的分割精度。具体来说,模型总参数量仅为0.77M(百万),在Cityscapes验证集和测试集上分别取得了73.1%和71.48%的平均交并比(mIoU),在CamVid测试集上取得了69.5%的mIoU。与BiSeNetV2、DDRNet-23、PIDNet等知名轻量级模型相比,MHMNet在精度相近或更高的前提下,参数量和计算量显著更低,展现了优越的精度-效率权衡。
多分支特征聚合块(MFAB)有效提升编码能力
通过消融实验证实,MFAB中集成的通道注意力、空间注意力和多核深度卷积三个分支缺一不可。当仅使用其中任何一个分支时,模型性能均有下降。三者结合的全配置MFAB能带来最大的性能增益,在CamVid数据集上比最强的单分支(CNN only)基线进一步提高了0.8个百分点的mIoU,这证明了通过多路径分工与协作来解耦并协同利用空间与通道信息的有效性。
混合视觉状态空间模块(HVSS)是高效全局建模的关键
对解码器模块的消融研究表明,用提出的HVSS模块替换标准的卷积块或自注意力模块,能带来显著的性能提升。特别是在建模低对比度区域和具有模糊语义边界的物体时,HVSS模块通过其集成的局部卷积先验和基于状态空间模型的全局依赖建模,能够产生更一致、更准确的分割结果。这验证了将CNN的局部归纳偏置与Mamba的线性复杂度全局建模能力进行混合设计的优势。
门控特征选择头(GFSH)精细化输出特征
在分割头部分的对比实验显示,使用GFSH相较于使用标准的3x3卷积头,能带来约0.5个百分点的mIoU提升。可视化分析表明,GFSH生成的门控图能够有效突出与目标类别相关的特征通道,并抑制背景或噪声响应,从而改善了最终分割图,特别是在物体边界处的质量。
定性结果展示模型优势
从论文展示的分割结果可视化对比图可以看出,MHMNet在复杂城市场景中对于小物体(如交通标志、行人)和细长结构(如电线杆、栏杆)的分割更加完整和准确,同时对于大范围的同质区域(如路面、天空)也能保持更好的语义一致性,错误预测和碎片化现象更少。
这项研究工作的核心结论是,通过一种创新的混合架构设计,成功地将卷积神经网络(CNN)的局部空间建模优势与状态空间模型(SSM)Mamba的高效长程依赖建模能力融合到了一个统一的轻量级网络中。所提出的MHMNet框架,凭借其编码器的多分支特征聚合块(MFAB)、解码器的混合视觉状态空间模块(HVSS)以及末端门控特征选择头(GFSH)的协同工作,在参数和计算量被极度压缩(仅0.77M参数)的前提下,在Cityscapes和CamVid基准测试上达到了与当前先进轻量级模型相媲美甚至更优的分割精度。
这项研究的重要意义在于,它为解决轻量级语义分割模型中长期存在的“精度-效率”权衡难题提供了一个新颖且有效的方案。MHMNet的提出,不仅证明了基于Mamba的状态空间模型在视觉任务,特别是对计算资源敏感的实时场景理解任务中具有巨大的应用潜力,而且其“CNN-SSM”混合的设计范式为后续的轻量化模型研究开辟了新的方向。该模型优异的性能使其非常适合于部署在自动驾驶车辆、移动机器人等资源受限的边缘设备上,为实现高精度、实时的环境感知提供了可靠的技术支撑。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号