《Pattern Recognition》:A Multi-task Sparse Adversarial Training framework for autonomous driving in harsh conditions
编辑推荐:
•我们提出了一种新颖的多任务稀疏对抗训练(MTSAT)框架,该框架将对抗训练与稀疏性相结合,共同提升多任务感知模型的鲁棒性和效率。•我们引入了一种极小-极大鲁棒优化方法,通过引入可学习的权重因子联合最小化各任务损失,从而显式平衡各任务的性能。该设计使模型即使在恶劣天气和高压缩
- •
我们提出了一种新颖的多任务稀疏对抗训练(MTSAT)框架,该框架将对抗训练与稀疏性相结合,共同提升多任务感知模型的鲁棒性和效率。
- •
我们引入了一种极小-极大鲁棒优化方法,通过引入可学习的权重因子联合最小化各任务损失,从而显式平衡各任务的性能。该设计使模型即使在恶劣天气和高压缩比条件下仍能保持各任务的鲁棒性能,实现资源受限车载系统中的鲁棒表现。
- •
在涵盖晴好和恶劣天气条件的多个自动驾驶数据集上进行了实验,包括 Cityscapes、Foggy Cityscapes 和 Rainy Cityscapes,结果表明 MTSAT 在恶劣天气条件和高稀疏度下相较于最先进的基线方法取得了更优的性能。这些结果表明,集成多任务学习与对抗稀疏训练的 MTSAT 为构建轻量且鲁棒的自动驾驶感知系统提供了一种实用方案。
引言
过去十年见证了自动驾驶技术的快速发展,它已成为人工智能和计算机视觉领域最具变革性和影响力的应用之一 [1], [2]。自动驾驶汽车有望通过减少人为驾驶错误、提高交通效率、降低排放和增强城市出行能力来变革现代交通系统 [3]。通过融合多传感器感知、深度学习和智能决策,自动驾驶系统能够完成目标检测、语义分割、深度估计和运动预测等复杂任务——这些任务曾是传统计算机视觉方法难以解决的 [4]。因此,自动驾驶已成为学术界和工业界的核心研究焦点,正在塑造智能交通和可持续出行的未来。
尽管取得了上述快速进展,但在恶劣天气条件(如雾、雨、雪和低光照)下确保驾驶安全性和可靠性仍然是一个未解决的关键挑战 [5], [6]。尽管许多感知模型在晴好环境中表现出色,但当传感器信号受到噪声 [7]、遮挡 [8] 或光照不一致 [6] 的影响时,其准确性会急剧下降。雾可能模糊结构细节,雨会引入条纹伪影,夜间场景会降低对比度——所有这些因素都可能导致误检或漏检,直接危及驾驶安全。此外,自动驾驶汽车在严格的计算和能耗约束下运行,这使得部署大型或计算密集型模型变得困难。如图 1 所示,这导致准确性、鲁棒性和效率之间存在固有的权衡。更大且更鲁棒的模型往往带来更高的延迟和能耗,而过于轻量化的模型可能在复杂条件下失效。
除了环境退化外,自动驾驶系统还容易受到对抗性攻击 [9], [10]。尽管感知和控制技术取得了显著进展,深度神经网络(DNN)仍然极易受到微小的、人类难以察觉的扰动的攻击,这些扰动可以大幅改变预测结果 [11], [12]。例如,对停止标志进行细微修改可能导致其被误分类为限速标志,这凸显了感知系统需要在恶劣环境和对抗扰动下都能保持可靠性的需求。
深度神经网络已成为现代自动驾驶的基础,支持来自相机和激光雷达等异构传感器的感知和多模态融合 [13], [14]。然而,更深的架构会带来显著更高的计算和内存成本,限制了其在资源受限环境中的部署可行性 [15], [16]。多任务学习(MTL)通过共享骨干网络联合学习相关的感知任务来解决这一问题,在减少冗余的同时提高表示学习和计算效率。然而,对于安全关键的自动驾驶系统而言,联合平衡感知准确性、对抗鲁棒性和计算效率仍然是一个开放的挑战。
为应对这些挑战,我们提出了一种新颖的多任务稀疏对抗训练(MTSAT)框架,将多任务学习(含动态稀疏训练)、对抗训练和高级加权策略整合为单一的端到端范式。如图 1 所示,MTSAT 旨在同时平衡性能、鲁棒性和计算成本之间的基本权衡。具体而言,多任务学习通过联合优化分割和视差估计等关联任务来增强性能,对抗训练通过将模型暴露于自然和扰动条件中来提升鲁棒性,动态稀疏训练通过自适应修剪冗余连接同时保留关键结构来降低成本。通过受约束的极小-极大优化过程,MTSAT 在对抗训练期间强制实施稀疏性,使网络能够学习紧凑且鲁棒的共享表示,同时减轻跨任务干扰。这种统一的框架使模型能够高效适应多样化环境,并在恶劣天气和对抗扰动下保持可靠的感知能力。总体而言,MTSAT 为构建面向鲁棒高效自动驾驶的高性能感知系统提供了一种可扩展且具弹性的解决方案。
我们的主要贡献总结如下:
- •
我们提出了一种新颖的多任务稀疏对抗训练(MTSAT)框架,该框架将对抗训练与稀疏性相结合,共同提升多任务感知模型的鲁棒性和效率。
- •
我们引入了一种极小-极大鲁棒优化方法,通过引入可学习的权重因子联合最小化各任务损失,从而显式平衡各任务的性能。该设计使模型即使在恶劣天气和高压缩比条件下仍能保持各任务的鲁棒性能,实现资源受限系统中的鲁棒表现。
- •
在涵盖晴好和恶劣天气条件的多个自动驾驶数据集上进行了实验,包括 Cityscapes [17]、Foggy Cityscapes [18] 和 Rainy Cityscapes [19] 数据集,结果表明 MTSAT 在高稀疏度下相较于所评估的基线方法改善了总体多任务性能。统计和复杂度分析进一步支持了所提出框架的有效性和效率。这些结果表明,集成多任务学习与对抗稀疏训练的 MTSAT 为构建高效且鲁棒的自动驾驶感知系统提供了一种实用方案。
章节摘要
多任务学习
近期综述将多任务学习确定为跨相关任务学习共享表示的基本范式 [20]。经典的多任务学习框架主要基于参数共享,可大致分为基于编码器和基于解码器的架构。基于编码器的方法,包括 Cross-stitch 网络 [21] 及相关方法 [16], [22],在编码期间共享特征表示,同时采用任务特定的预测头。相比之下,
方法论
我们提出了多任务稀疏对抗训练(MTSAT)框架,旨在应对自动驾驶中的环境不确定性、对抗攻击和资源约束挑战,该框架将对抗训练、动态稀疏训练和多任务极小-极大优化整合为统一的范式。整体流程如图 2 所示。
该框架旨在联合增强真实驾驶场景下的鲁棒性、效率和多任务性能
实验
在本节中,我们在不同天气条件下评估所提出的框架,并将结果与其他现有方法进行比较。
总体性能提升
所提出的极小-极大优化框架在竞争任务之间取得了更好的平衡,从而提升了自然准确率和对抗鲁棒性。这证明了其在严重稀疏度约束和强对抗扰动下维持稳定多任务协调能力的能力,而在此条件下传统加权策略往往变得不稳定。
图 4 和图 5 总结了不同扰动强度和天气条件下的平均总体性能。所提出的
的敏感性分析
在先前的实验中,我们设置 =5。我们在 Foggy Cityscapes 和 Rainy Cityscapes 数据集上对超参数 的设置进行了敏感性分析。如图表 13 所示,所提出的 MTSAT 框架在不同的 值下始终保持着稳定的自然和对抗性能。这些结果验证了所提出的 MTSAT 优化策略在不同恶劣天气条件下的稳定性和鲁棒性。
对抗训练(AT)与动态稀疏训练(DST)的贡献
表 14 和表 15 展示了
结论与未来工作
本文提出了多任务稀疏对抗训练(MTSAT),一种用于提升多任务感知模型鲁棒性和效率的统一框架。通过在极小-极大优化框架下将对训练与动态稀疏训练相结合,MTSAT 在保持严重稀疏度下优化稳定性的同时平衡了竞争的任务目标。在晴好和恶劣天气条件下的自动驾驶基准实验表明,MTSAT 持续改善了
CRediT 作者贡献声明
郭嘉诚:撰写 – 审阅与编辑,撰写 – 初稿撰写,方法学。崔明轩:撰写 – 初稿撰写,方法学。杨浩辰:方法学。龙可珂:方法学。李小鹏:监督指导。秦明海:监督指导。于宏凯:撰写 – 审阅与编辑,监督指导。张天云:撰写 – 审阅与编辑,撰写 – 初稿撰写,监督指导,方法学,基金获取。
利益冲突声明
作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。
致谢
本研究得到了美国国家科学基金会的资助,基金号 CNS-2245765。
郭嘉诚 | 崔明轩 | 杨浩辰 | 龙可珂 | 李小鹏 | 秦明海 | 于宏凯 | 张天云