《Applied Sciences》:A Weakly Supervised Segmentation Algorithm Based on Local–Global Class Labelling Comparison
编辑推荐:
作为一种关键的像素级分析技术,语义分割被广泛应用于自动驾驶和医学成像领域。全监督分割依赖于耗费大量人力的像素级标注,因此仅使用图像级标签的弱监督语义分割(WSSS)受到了广泛关注。现有的基于视觉Transformer(ViT)的WSSS方法存在两个关键局限:V
作为一种关键的像素级分析技术,语义分割被广泛应用于自动驾驶和医学成像领域。全监督分割依赖于耗费大量人力的像素级标注,因此仅使用图像级标签的弱监督语义分割(WSSS)受到了广泛关注。现有的基于视觉Transformer(ViT)的WSSS方法存在两个关键局限:ViT的全局自注意力机制导致其对局部小目标特征不敏感,并造成前景激活不完整;其类无关注意力图经常将背景区域误激活为前景目标,引入大量噪声。为解决这两个问题,本文提出一种基于局部-全局类标签比较的单阶段弱监督分割算法。首先,研究人员设计了一个局部-全局类标签比较(LTG)模块。通过将原始图像和随机裁剪的局部补丁共同输入ViT,采用InfoNCE对比损失将局部类令牌与全局类令牌对齐,从而增强局部目标区域的特征完整性,并抑制背景误激活。其次,将类感知刺激模块(CSM)嵌入ViT的多头注意力分支中。该模块向自注意力中注入类别语义约束,生成类感知注意力图,引导模型关注真实前景目标并减少背景干扰。最后,研究人员融合ViT全局输出特征与CSM类感知注意力特征,构建特征融合类激活图(FFCAM),以生成用于分割训练的高质量伪标签。在PASCAL VOC 2012和MS COCO 2014数据集上进行了大量实验。该方法在PASCAL VOC 2012验证集上达到78.5%的mIoU,在MS COCO 2014上达到50.9%的mIoU,在比较的单阶段ViT类WSSS方法中表现出有竞争力的数值性能。消融实验验证了LTG、CSM和FFCAM的独立及联合有效性。所提方法有效提高了目标激活区域的完整性,抑制了背景噪声,并对细长、小型和纹理稀疏目标保持了较强的泛化能力。未来工作将进一步轻量化ViT骨干网络,以降低嵌入式部署的计算开销。
**一种基于局部-全局类标签比较的弱监督分割算法研究解读**
**1. 研究背景与问题**
语义分割是计算机视觉中的像素级分析技术,在自动驾驶、医学影像等领域应用广泛。全监督语义分割依赖逐像素的密集标注,获取成本高昂。弱监督语义分割(WSSS)仅使用图像级标签即可训练分割模型,因此受到研究者广泛关注。近年来,视觉Transformer(ViT)凭借其全局依赖建模能力,被引入WSSS以生成类激活图(CAM)。然而,现有基于ViT的WSSS方法存在两个关键缺陷:其一,ViT的全局自注意力机制对局部小目标特征不敏感,导致前景激活区域不完整,目标边界模糊;其二,ViT的注意力图是类无关的,常将背景区域误判为前景目标,引入大量背景噪声。这两类问题严重制约了伪标签质量与最终分割精度。为此,研究人员提出了一种单阶段弱监督分割算法,通过局部-全局类标签比较来增强局部特征完整性,并通过类别约束抑制背景误激活。
**2. 研究内容与主要方法**
该算法以ViT为骨干网络,构建了包含局部-全局类标签比较(LTG)模块、类感知刺激模块(CSM)和特征融合类激活图(FFCAM)的单阶段框架。LTG模块对输入图像进行随机局部裁剪,将全局图像与局部裁剪块共同输入共享ViT,采用InfoNCE对比损失拉近局部前景特征与全局类令牌的距离,同时推远背景局部特征,从而增强局部区域的语义一致性并抑制背景误激活。CSM模块嵌入ViT的多头注意力分支,利用编码器-解码器卷积结构和辅助分类损失,将原始的类无关注意力图重构为类感知注意力图,向自注意力注入显式类别约束。FFCAM则融合ViT全局输出特征与CSM生成的类感知注意力特征,经过逐元素乘加操作得到高分辨率激活图,用于生成高质量伪标签,实现端到端单阶段分割训练。
研究在PASCAL VOC 2012和MS COCO 2014两个公开数据集上验证方法。PASCAL VOC 2012包含20个前景类和1个背景类,训练集1464张、验证集1449张;MS COCO 2014包含80个前景类和1个背景类,训练集82081张、验证集40137张。以ImageNet-1K预训练的ViT为骨干,采用AdamW优化器训练,并使用简单分割头作为解码器。
**3. 研究结果**
**3.1 实验环境与数据集:** 研究在NVIDIA RTX 3090设备上完成了所有实验。针对PASCAL VOC 2012设置批量大小为2、迭代2万次;MS COCO 2014设置批量大小为1、迭代8万次,并采用预热学习率策略。
**3.2 实验评价指标:** 采用交并比(IoU)和平均交并比(mIoU)作为主要评价指标,并补充余弦相似度、平均绝对误差(MAE)、均方误差(MSE)和均方根误差(RMSE)进行多维评估。
**3.3 对比实验结果分析:** 在PASCAL VOC 2012上,所提方法生成的伪标签mIoU在训练集和验证集上分别达到73.4%和72.3%,比次优的ToCo方法高1.2和1.8个百分点。最终分割验证集mIoU达到78.5%,在单阶段方法中优于WeakTr(78.4%),比多阶段方法L2G(71.7%)高6.8个百分点。在MS COCO 2014上,所提方法获得50.9%的验证集mIoU,比WeakTr高0.6个百分点,比L2G和MCTformer(均为42.0%)高8.9个百分点。类别IoU分析显示,除椅类外(36.5%),多数类别均取得较高IoU,表明方法在各类别上性能稳定。定性可视化显示,所提方法生成的激活图比ViT和ToCo更接近真实标签,对小目标响应更完整,边界更精细,背景误激活得到有效抑制。补充指标也表明预测概率图与真值方向更一致、像素偏差更小。
**3.4 消融实验:** 在PASCAL VOC 2012上,ViT基线分割mIoU为47.8%。加入LTG后提升至63.6%,再加入CSM提升至69.7%,最后用FFCAM替换传统CAM后达到78.5%。CAM mIoU也相应从49.7%逐步提升至73.3%。研究表明LTG通过局部-全局对比学习增强特征一致性,CSM通过类别约束减少背景干扰,FFCAM通过特征融合生成更完整的激活图。此外,局部裁剪尺寸和EMA动量因子的实验表明,裁剪尺寸96×96和动量因子0.9时取得最佳性能。
**4. 总结与结论**
该研究针对ViT在WSSS中局部特征不敏感和背景混淆问题,提出了LTG、CSM和FFCAM三种组件。LTG通过对比学习对齐局部视图与全局类别语义;CSM通过注入类别约束将类无关自注意力转化为类感知注意力;FFCAM融合ViT特征与类感知注意力特征,得到更完整的激活图。在PASCAL VOC 2012和MS COCO 2014上的实验验证了各组件及整体单阶段框架的有效性。尽管取得了优异性能,ViT的计算复杂度仍然较高。未来可采用轻量化模型降低计算开销,实现在低配置移动或嵌入式设备上的部署,提高实际应用可行性。论文发表于《Applied Sciences》。