《Pattern Recognition》:DisasterKD: Frequency-Guided Cross-Decoder Knowledge Distillation for UAV Real-Time Disaster Damage Assessment
编辑推荐:
Jianchong Guo|Yuting Wan|Junjue Wang|Ailong Ma|Yanfei Zhong中国武汉大学测绘遥感信息工程国家重点实验室,邮编430079摘要在紧急救援中,利用轻量级无人机搭载系统进行实时灾害损失评估至关重要。此类场景下,视觉场景往往会发生
Jianchong Guo|Yuting Wan|Junjue Wang|Ailong Ma|Yanfei Zhong
中国武汉大学测绘遥感信息工程国家重点实验室,邮编430079
摘要
在紧急救援中,利用轻量级无人机搭载系统进行实时灾害损失评估至关重要。此类场景下,视觉场景往往会发生剧烈的结构变化,呈现出高度非平稳的分布特征,给有效的识别工作带来极大挑战。知识蒸馏作为一种高效的模型压缩方法,有助于在无人机平台上实现实时损失评估。然而,针对灾害场景的知识蒸馏为自动图像分析带来了独特难题。灾前场景具有可预测的模式,而灾害则会混乱地改变地貌,打破典型的空间关系,产生在不同区域差异极大的复杂视觉特征。传统的知识蒸馏方法在分析灾害场景时往往力不从心,难以识别灾害图像中的关键特征,也缺乏将这些特征有效传递到较小模型的机制。为解决这些问题,我们提出了一种专为灾害场景分析设计的新型框架。我们的方法有两个主要创新点:首先,我们优先提取高频信息,如边缘和边界等包含重要结构损伤模式的信息,然后再处理低频语义内容,从而提高知识保留的效率;其次,我们利用较大模型的解码器作为稳定的参考框架,引导较小模型的特征学习过程,避免在训练过程中教师预测值与真实标签之间出现矛盾的监督信号。我们使用常见的灾害评估数据集对框架进行了验证,其性能显著优于现有方法,同时保持了适合无人机部署的轻量级架构。这些结果证明了该方法在紧急救援应用中的实用价值。
引言
在资源受限的平台上实现实时视觉识别已成为模式识别研究中的核心挑战[1]。诸如无人机搭载系统之类的边缘设备,必须在严格的延迟、内存和能耗限制下仍保持高精度识别能力[2]。要实现这一平衡,就需要开发出既紧凑又高效的模型,以便在动态环境中支持实时推理[3]。
为应对这些限制,人们广泛研究了模型压缩技术[4]。在这些方法中,知识蒸馏通过将高容量的教师网络中的知识传递到轻量级的学生模型中,取得了显著成效[5]、[6]。知识蒸馏已被应用于多种识别任务,包括图像分类、物体检测[7]以及语义分割[8],在降低计算复杂度的同时还能保持较高的准确率[9]。这些进展表明,知识蒸馏为在无人机平台上实际部署识别模型提供了良好的发展方向[10]。
随着大规模预训练技术的快速发展,遥感领域开始采用基础模型,这类模型旨在为地球观测提供通用的表征能力[11]、[12]。这些模型在庞大的多传感器数据集上经过训练,在场景分类[13]、土地覆盖制图[14]以及与灾害相关的应用[15]等诸多下游任务中都表现出优异的性能。它们展现了通用遥感基础模型在高级语义理解方面的潜力,但由于这类模型通常依赖庞大的网络架构和服务器端的计算资源,因此在延迟、内存和能耗有限的无人机上直接使用存在很大困难[16]。这一局限性促使人们开发出轻量级、针对特定任务的解决方案,以便在紧急灾害响应中实现实时推理,同时又能继承强大教师模型的优势。
然而,灾害图像带来了独特的挑战,使其有别于普通的自然视觉场景[17]、[18]。在知识提取方面,灾害带来的混乱变化打破了典型的空间关系,产生了在不同区域差异极大的复杂视觉模式[19],这使得在知识蒸馏过程中很难确定哪些信息是最需要保留的。而在知识传递方面,传统方法在处理灾害场景时,往往会在教师网络与真实语义标签之间产生矛盾的监督信号[20]。尤其是在特征编码阶段,这些矛盾信号会误导学生模型的学习过程,影响其准确识别灾害特定特征的能力[21]。
如图1(b)所示,传统的知识蒸馏框架在灾害场景分析中存在若干关键缺陷。传统方法通常在通道层面进行知识对齐,对所有像素一视同仁,没有区分它们的重要性[22]。这种统一处理方式无法体现灾害场景特征的层次结构,某些视觉模式,如损伤边界和结构变形,所携带的信息往往比其他模式更为重要[23]。此外,这些方法缺乏优先学习关键特征的机制,导致在压缩后的模型中难以保留重要的灾害评估能力[24]。再者,在处理灾害场景时,学生网络往往会收到来自教师网络预测值与真实语义标签的矛盾监督信号[25]。这些冲突信号尤其会影响特征编码过程,使学生模型的学习陷入混乱,进而影响其准确识别灾害特定特征的能力。传统的知识蒸馏框架缺乏有效机制来解决这类监督冲突,从而导致在灾害场景分析中的知识传递效果不佳。
为解决这些难题,我们提出了一种专为灾害损失评估设计的轻量级知识蒸馏框架。该框架通过高效的模型压缩技术,使得无人机边缘平台能够实现实时处理,从而快速开展紧急救援,实现及时准确的灾害评估。我们的方法有效解决了灾害场景中的知识提取和传递问题,提升了紧急救援工作的效率。具体而言,我们的主要贡献如下:
- 1.
专用轻量级框架。我们针对灾害损失评估的特点,开发了一种专门的知识蒸馏框架,该框架能够适应灾害场景的复杂性。它在保证评估精度的同时,还满足了无人机边缘部署所需的轻量级要求。
- 2.
基于频率的像素重要性识别机制。为了解决灾害场景中的知识提取难题,我们设计了一种基于频率的像素重要性识别方法。该方法指导学生网络先优先学习高频的边界信息,然后再学习低频的内部语义特征,从而大幅提升知识蒸馏的效果。这种顺序学习策略显著增强了模型在复杂灾害环境中识别关键损伤模式的能力。
- 3.
跨解码器知识传递机制。为解决灾害场景中的知识传递问题,我们提出了跨解码器知识蒸馏方法。该方法通过在学生网络的编码层对教师网络预测值与真实语义标签之间的矛盾信号进行约束,从而降低了这些冲突信号的影响。这一方法大大提高了知识传递的稳定性和有效性,进而提升了灾害评估的精度。
本文的其余部分结构如下:第2节将对相关文献进行全面综述,探讨知识蒸馏方法以及基于小波变换的频域分解技术。第3节将详细介绍我们的频率引导型跨解码器知识蒸馏框架——DisasterKD,包括其架构和运行机制。第4节将通过大量的实验结果和对比分析,验证我们的方法在现实灾害评估场景中的有效性。最后,第5节将对主要研究结果进行总结,并指出未来研究的方向。
章节节选
相关工作
知识蒸馏已成为一种主流的模型压缩技术,它能够将训练有素的大型教师网络中的知识传递到体积较小的学生网络中,同时保持良好的性能。知识蒸馏的有效性取决于两个关键因素:从教师网络中提取有价值的知识,以及将这些知识高效地传递给学生网络。
基于频率的跨解码器知识蒸馏
灾害场景分析面临的特殊挑战,要求有一种专门的知识蒸馏框架,能够有效捕捉和传递复杂的损伤模式,同时还要具备轻量级的部署能力。为解决这些问题,我们提出了DisasterKD,这是一种专为灾害损失评估设计的新型频率引导型跨解码器知识蒸馏框架。我们的框架有效地解决了知识提取和传递方面的问题
数据集说明
为了严格评估我们提出的方法,我们使用了两个专为灾害损失评估设计的先进航空影像数据集。
RescueNet数据集 [33]:该数据集源于迈克尔飓风带来的巨大破坏,这是有记录以来首次袭击墨西哥海滩的5级飓风。该数据集全面展示了七个受严重影响的区域的严重结构损坏情况,这些区域包括墨西哥海滩中心、巴拿马城以及西海滩大道。该数据集
结论
在本文中,我们提出了DisasterKD,这是一种基于频率引导的跨解码器知识蒸馏框架,可用于基于无人机的实时灾害损失评估。通过引入基于频率的像素重要性识别机制和跨解码器监督策略,我们的方法克服了传统蒸馏框架在混乱的灾后图像中常常遇到的诸多难题。在RescueNet和FloodNet数据集上的实验表明,DisasterKD的准确率与
CRediT作者贡献声明
Jianchong Guo:撰写——初稿撰写、可视化、软件开发、方法设计、研究实施、概念构思。Yuting Wan:撰写——审稿与编辑、验证、监督、方法设计、资金获取、数据整理、概念构思。Junjue Wang:验证、资源协调、概念构思。Ailong Ma:验证、监督、资源协调、项目管理、研究实施。Yanfei Zhong:撰写——审稿与编辑、监督、资源协调、项目管理、资金获取,
利益冲突声明
作者声明,他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。
致谢
本研究得到了中国国家关键研发计划项目(项目编号2022YFB3903404)的支持,同时也部分得到了中国国家自然科学基金项目(项目编号42301418)以及中国国家博士后创新人才支持计划项目(项目编号BX20230275)的资助。