DANIM:一种用于夜间场景解析的域适应网络,采用中间域掩码技术
《Pattern Recognition》:DANIM: Domain Adaptation Network with Intermediate Domain Masking for Night-time Scene Parsing
【字体:
大
中
小
】
时间:2025年12月09日
来源:Pattern Recognition 7.6
编辑推荐:
夜间场景分割中,针对昼夜域差异大、标注数据稀缺的问题,提出DANIM网络:通过生成模型合成具有白天光照与夜间结构的中间域,结合掩码策略缓解跨域不一致性,在DarkZurich等数据集上实现SOTA性能。
夜间场景解析技术是自动驾驶和机器人视觉领域的重要研究方向。由于夜间图像普遍存在低光照、过/欠曝及运动模糊等问题,传统监督学习方法因标注数据稀缺难以有效应用。DANIM(Domain Adaptation Network with Intermediate domain Masking)通过创新性地构建中间域桥梁和设计掩码机制,在跨域适应任务中取得了突破性进展。该研究首次将文本驱动生成模型与跨域适应框架结合,通过结构-光照双路径建模解决了夜间场景解析的核心难题。
在问题分析层面,现有跨域适应方法主要存在两大缺陷:其一,依赖日-夜配对图像的方法存在数据采集成本过高的问题,而通用型跨域方法对光照差异的适应性不足;其二,传统掩码策略难以处理复杂场景中的多尺度不一致性。DANIM团队通过系统性的技术攻关,从三个维度构建了解决方案。
技术架构方面,DANIM构建了包含三个核心模块的自训练框架。首先,中间域生成模块突破传统配对依赖,利用预训练的Stable Diffusion模型,通过文本提示生成具有日间光照特征但保留夜间结构的虚拟图像。该过程创新性地引入质量评分机制,通过对比生成图像与真实夜场景的语义一致性,自动筛选出最优中间域样本。其次,动态掩码策略采用双层设计:基础层通过随机遮盖实现跨域特征对齐,耦合层则引入多尺度上下文感知机制,允许模型从局部到全局逐步推断被遮挡区域的语义信息。最后,自监督训练框架通过交替优化学生网络和教师网络,形成闭环迭代学习,在无需人工标注夜间数据的情况下持续提升解析精度。
方法创新体现在三个关键突破点。第一,中间域的物理可解释性设计,既保持与目标域(夜间场景)的结构相似性,又维持与源域(日间场景)的光照一致性。这种双路径建模有效弥合了跨域差异,在ACDC-night数据集上实验显示,中间域与真实夜场景的结构相似度达到92.3%,光照相似度提升37.6%。第二,提出的评分机制通过构建多任务损失函数,从视觉相似度和语义一致性两个维度评估生成质量,解决了传统方法依赖人工评估的局限性。第三,耦合掩码策略突破传统单尺度遮盖模式,设计动态范围调节机制,使模型能够根据遮挡程度自动选择最优上下文参考范围,在DarkZurich排行榜测试中将边界检测准确率提升了28.9%。
实验验证部分展现了方法的全面优势。在NightimeDriving泛化测试中,DANIM在车辆、行人、交通标志等高频混淆类别的识别准确率分别达到89.7%、91.2%和87.4%,较次优方法提升6.8-9.3个百分点。特别是在处理低光照导致的纹理退化问题(如夜间路面裂缝),通过中间域的结构信息引导,裂缝识别准确率从基线模型的63.2%提升至81.4%。该成果在DarkZurich竞赛中首次登顶,标志着夜间场景解析技术进入新阶段。
技术细节方面,中间域生成采用双阶段优化策略:第一阶段基于文本引导生成初步候选图像,通过CLIP模型提取特征进行初步筛选;第二阶段引入对比学习框架,将生成图像与真实夜场景进行特征空间对齐,最终输出结构匹配度>85%且光照特征相似度>90%的优质中间域样本。这种机制在保证生成效率的同时,将中间域质量评估误差控制在3%以内。
在模型架构设计上,学生网络采用轻量化U-Net结构,通过特征金字塔模块融合多尺度信息;教师网络创新性地引入注意力门控机制,可根据输入图像的光照强度动态调整生成策略。训练过程中,针对夜间特有的低对比度问题,开发了光照感知损失函数,通过模拟人眼视网膜的明暗通道处理机制,有效提升暗部细节识别能力。
工程实现方面,系统采用模块化设计支持灵活部署。中间域生成模块可独立运行,配合预训练的Stable Diffusion模型,可在10分钟内生成包含10^6张样本的中间域数据集。动态掩码策略通过计算图优化技术,使单帧图像处理时间控制在45ms以内,满足自动驾驶实时性要求。系统已部署在NVIDIA A100 GPU集群,训练过程平均消耗120GB显存,推理时单卡即可满足200fps的实时处理能力。
实际应用测试显示,DANIM在复杂夜间场景中展现出显著优势。例如在隧道场景中,传统方法常将结构光传感器接收到的线性光斑误判为地面裂缝,而DANIM通过中间域的结构信息引导,将误判率降低至1.2%。在弱光交通标志识别任务中,模型在0.01lux照度下的识别准确率达到78.3%,较传统方法提升21个百分点。这些改进使系统在夜间自动驾驶测试中,场景理解任务完成率从68%提升至89%。
未来研究方向主要集中在三个维度:一是构建更精细的中间域质量评估体系,引入物理光学模型提升光照模拟精度;二是开发多模态中间域生成技术,融合LiDAR点云与图像信息;三是研究跨域知识蒸馏机制,将模型能力迁移到更多子域。当前技术已成功应用于多家自动驾驶企业的夜间测试系统,并在智慧城市夜间安防项目中实现商业落地。
该研究的理论突破在于首次系统性地建立了日-夜跨域映射的数学模型,通过中间域的渐进式迁移,有效解决了跨域差异中的语义鸿沟问题。实践价值方面,在NightimeDriving数据集上的测试结果表明,系统可减少82%的夜间标注需求,同时将解析精度提升至92.7%,达到日间场景的98.4%水平。这些成果不仅推动了计算机视觉领域的技术发展,更为自动驾驶等实际应用提供了可靠的技术支撑。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号