利用语言和视觉先验进行域自适应语义分割
《IEEE Transactions on Multimedia》:Leveraging Language and Vision Priors for Domain Adaptive Semantic Segmentation
【字体:
大
中
小
】
时间:2026年10月21日
来源:IEEE Transactions on Multimedia 9.9
编辑推荐:
摘要:无监督域适应(UDA)语义分割旨在将源数据训练的模型适应到目标数据,而无需目标数据的标注。现有方法在处理目标域中语义相似或视觉相似的类别时面临困难,因为没有地面真值来学习类别间的细微差异。在本文中,我们利用域无关的语言和视觉先验(LVP)作为多模态正则化,通过语言驱动的
摘要:无监督域适应(UDA)语义分割旨在将源数据训练的模型适应到目标数据,而无需目标数据的标注。现有方法在处理目标域中语义相似或视觉相似的类别时面临困难,因为没有地面真值来学习类别间的细微差异。在本文中,我们利用域无关的语言和视觉先验(LVP)作为多模态正则化,通过语言驱动的跨域特征对齐和渐进式基于掩码的空间上下文学习来增强目标域适应能力。对于语言先验,我们通过结合类名和可学习上下文,为每个类构建多个可学习的文本原型,捕获细粒度的类间和类内关系。这些原型通过在线聚类策略联合优化,动态地将两个域的特征对齐到最相关的原型,从而在域偏移下实现鲁棒的视觉-文本对齐。对于视觉先验,我们设计了带有内外和外出画的渐进式掩码策略,迫使模型通过由内向外和由外向内推理来恢复被掩码的区域。这鼓励模型利用多媒体图像中的域无关空间上下文(如道路上方的天空、道路上的汽车),而不是依赖域特定的纹理,作为通用的结构先验。此外,我们引入了一种置信度感知掩码机制,通过掩码低可靠性伪标签来抑制错误传播,同时自适应地关注模糊区域以增强空间上下文学习。大量实验展示了LVP的有效性,它在流行的UDA基准上达到了最先进性能,即在GTAV→Cityscapes上达到76.9%的mIoU,在SYNTHIA→Cityscapes上达到69.9%,在Cityscapes→Dark Zurich上达到61.1%。由于其通用性,LVP可以轻松集成到现有的UDA方法中,并持续提升其性能而不会...
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号