面向车载动态场景的多帧自适应图像增强算法MAIE-Net:一种轻量化混合运动补偿与时空融合新方法

《Sexual & Reproductive Healthcare》:Multi-Frame Adaptive Image Enhancement Algorithm for vehicle-mounted dynamic scenes

【字体: 大 中 小 】 时间:2026年01月01日 来源:Sexual & Reproductive Healthcare 1.7

编辑推荐:

  本文针对自动驾驶场景中因高速车辆运动和复杂路况导致的图像模糊问题,提出了一种轻量化的多帧自适应图像增强网络MAIE-Net。该研究创新性地引入了融合光流对齐与可变形卷积的混合运动补偿机制,有效解决了复杂动态场景中的非刚性运动对齐难题;构建了结合3D卷积与注意力机制的时序特征增强模块,实现了多帧信息的自适应融合。实验结果表明,该方法在保持高效实时处理能力的同时,显著提升了图像质量,为车载视觉系统的环境感知性能提供了可靠的视觉增强解决方案。

  
在智能驾驶技术飞速发展的今天,车载视觉系统如同汽车的"眼睛",承担着感知周围环境的重要使命。然而,这双"眼睛"在实战中却面临着严峻挑战:当车辆高速飞驰在复杂路况下,摄像头采集的图像常常出现令人头疼的模糊现象——无论是颠簸路面引起的振动,还是快速转向导致的运动模糊,都让关键细节变得难以辨认。更棘手的是,传统驾驶辅助系统往往忽视了后视场景,而在倒车、变道等关键时刻,后方视野的清晰度直接关系到行车安全。雨雪雾霾等恶劣天气更是雪上加霜,使得常规传感器性能大打折扣。面对这些挑战,业界迫切需要一种既能在车载计算平台上高效运行,又能显著提升成像质量的图像增强技术。
早期的图像增强方法主要依赖传统计算机视觉技术,如傅里叶变换滤波和基于单应性的多帧对齐方法,但这些方法在极端条件下往往力不从心。近年来,深度学习为图像处理带来了革命性变化,特别是在图像去噪和超分辨率重建领域。多帧超分辨率MFSR技术能够利用连续帧之间的互补信息,比单帧方法具有天然优势。然而,现有方法大多计算复杂、参数庞大,难以满足车载系统对实时性的严苛要求。有些方法虽然尝试引入经典视觉先验或生成对抗网络GANs,但在细节保真度和处理速度之间难以找到最佳平衡点。
针对这一技术瓶颈,江西应用技术学院汽车学院的李静、陈涛、韩翔宇、栾喜林和李金涛研究团队在《Sexual 》上发表了一项创新研究,提出了一种名为MAIE-Net的多帧自适应图像增强网络。这项研究致力于解决车载动态场景下的图像模糊问题,通过创新的网络架构设计,在保持轻量化的同时实现了优异的图像增强效果。
研究人员采用了几个关键技术方法:首先构建了混合运动补偿模块,结合光流对齐和可变形卷积来处理全局和局部运动;其次设计了时序融合模块,利用3D卷积和注意力机制实现多帧信息自适应融合;采用边缘引导的U-Net结构进行多尺度特征提取和重建;使用包含SSIM、L1损失和梯度正则化的复合损失函数进行优化。实验在BDD100K和REALBLUR数据集上进行,并在Orange Pi 5 Pro开发板上进行了部署验证。
3.1. 运动补偿
运动补偿模块采用混合策略解决帧间对齐问题。光学流对齐首先通过光流网络估计帧间运动向量,生成二维位移场,然后使用双线性采样函数将相邻帧对齐到参考帧。在此基础上,可变形卷积通过学习空间可变偏移量来捕捉更复杂的局部形变,其数学表达式展示了如何通过可学习偏移来细化对齐效果。误差分析表明,这种混合策略显著降低了对齐误差,光学流提供了良好的全局初始化,加速了可变形卷积的收敛。
3.2. 时序融合
时序融合模块负责有效聚合时序信息。首先使用三维3D卷积在对齐后的多帧输入张量上同时提取空间和时间特征,保留了对运动一致性细节至关重要的时序相关性。随后引入注意力机制,通过可学习的注意力核生成权重图,自适应强调信息量最大的时序区域,并通过softmax归一化确保有效的特征聚合。最后通过跨帧卷积层显式学习帧间复杂非线性关系,该操作特别有利于处理遮挡、运动模糊变化等时序不一致性问题。
3.3. 编码器和解码器
编码器-解码器架构采用U-Net风格设计。编码器部分在输入阶段引入Sobel算子提取边缘信息,与原始图像通道拼接以丰富输入特征。每个编码块包含卷积层、归一化层和残差块,从第二层开始集成卷积块注意力模块CBAM,通过通道和空间注意力自适应重新校准特征图。解码器部分采用对称上采样操作,通过残差块和CBAM注意力细化特征,并结合编码器的跳跃连接提供高分辨率空间上下文。最终网络预测模糊输入与清晰图像之间的残差,加速收敛并更好保留原始图像的真实纹理。
3.4. 误差评估
复合损失函数平衡了感知相似性、像素级精度和平滑度约束。L1损失测量预测与真实值之间的平均像素级差异,相比L2损失对异常值更不敏感,有助于保持清晰边缘。SSIM结构相似性指标评估图像间的结构相似性,与人类视觉感知更相关。梯度正则化通过水平垂直图像梯度差异鼓励平滑性同时保持边缘。加权系数α、β、γ控制各分量的相对重要性,实现像素精度、感知质量和平滑度之间的平衡。
4. 实验
4.1. 实验设置
实验采用BDD100K和REALBLUR数据集进行联合训练。训练损失曲线显示模型在第60轮左右达到关键收敛点,SSIM和PSNR曲线也相应稳定,PSNR最终达到约31.5,表明模型具有良好的收敛性和重建质量。
4.2. 对比实验
在REALBLUR和BDD100K数据集上的综合评估表明,MAIE-Net在PSNR指标上表现优越,同时保持竞争力的SSIM值,推理速度显著更快,内存占用更低。与最先进模型相比,在保持相当或更小架构的情况下实现了精度与效率的良好平衡。
4.3. 性能与主观评价
4.3.1. 部署验证
在Orange Pi 5 Pro开发板上的实时边缘推理测试显示,设备整体功耗约16W,温度超过55°C时帧率略有下降,但整体性能保持在合理范围内,满足车载系统的实时性要求。
4.3.2. 主观视觉质量评估
平均意见得分MOS评估涉及100名参与者,包括37名ADAS领域专家。MAIE-Net在具有挑战性的条件下表现显著优于基线方法和竞争方法,MOS得分达到4.1±0.2,狭窄的置信区间表明在不同场景和观察者间具有一致的感知优越性。
5. 结论
MAIE-Net通过混合运动补偿机制在快速运动场景下保持优异的增强性能,在夜间条件下相比传统单一光流方法PSNR提升2.8%,SSIM提高2.2%。时序特征增强模块显著提升了对帧间遮挡和不同程度运动模糊的鲁棒性,VIF指标显著提升14.6%。网络架构的轻量化设计在RK3588嵌入式平台上实现118毫秒的实时处理速度,参数量仅1320万,GPU内存消耗2.1GB,完全满足车载系统的资源约束。与最先进方法相比,在保持相当图像质量的同时实现超过30%的推理速度提升。
这项研究的主要创新包括:首次为车载场景量身定制混合运动补偿策略,有效解决高速运动引起的复杂模糊问题;开发轻量高效的时序特征融合方案,为嵌入式设备上的实时图像增强提供新思路;构建了完整的车载图像增强解决方案,并成功在实际智能驾驶系统中部署应用。这些成果为自动驾驶视觉系统的实时图像增强提供了可靠的技术支撑,具有重要的理论价值和实际应用意义。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号