DC4Former:基于对角互补C4一致性的方向稳定无人机灾害图像分割

《Remote Sensing》:DC4Former: Orientation-Stable UAV Disaster Image Segmentation via Diagonal-Complemented C4 Consistency

【字体: 大 中 小 】 时间:2026年08月28日 来源:Remote Sensing 4.3

编辑推荐:

  无人机灾害图像通常在变化的飞行航向和相机偏航角方向下获取,这可能导致观测场景的平面内方向发生变化。研究人员提出DC4Former,一种基于LRFormer构建的方向稳定分割框架。仅架构变体C4Former针对四种网格保持旋转(0°、90°、180°和270°)

  
无人机灾害图像通常在变化的飞行航向和相机偏航角方向下获取,这可能导致观测场景的平面内方向发生变化。研究人员提出DC4Former,一种基于LRFormer构建的方向稳定分割框架。仅架构变体C4Former针对四种网格保持旋转(0°、90°、180°和270°),通过重新设计三种对旋转敏感的操作:步长为1的空间卷积、跨步下采样和低分辨率池化注意力。它采用C4对称化卷积核、特征旋转平均下采样以及带约束分支融合的对齐四视图池化注意力。DC4Former进一步在训练期间增加单一45°旋转增强,以提升对角方向的经验鲁棒性,同时保留C4作为网格保持的架构基础。FloodNet和RescueNet实验采用八角度协议和24角度压力测试。与LRFormer相比,DC4Former将三随机种子最差角度前景mIoU在FloodNet上从70.14%提升至76.83%,在RescueNet上从54.90%提升至67.66%,同时将RescueNet八角度标准差从4.17降至0.33。相对于不增加推理开销的LRFormer-RandRot,实际部署权衡因数据集和协议而异。在FloodNet上,LRFormer-RandRot在All-8、Worst-8、Mean-24和Worst-24指标上略高。在RescueNet上,LRFormer-RandRot在Mean-24和Worst-24上较高且Std.-24较低,而DC4Former在八角度协议下All-8和Worst-8较高且Std.-8较低,但推理延迟增加。综合来看,这些结果表明,操作符感知的C4一致性与对角训练暴露相结合,在八个主要方向上相对于未修改的LRFormer主干提供了架构层面的可靠性提升路径。
**DC4Former论文解读:面向无人机灾害图像分割的方向稳定性研究**

**1. 研究背景与拟解决的科学问题**

无人机(UAV)能够对受灾、难以到达及安全关键区域提供甚高分辨率观测,其获取的图像是应急救援、灾情评估和恢复规划的重要依据。语义分割技术能将这类观测转化为像素级专题地图。然而,无人机飞行航向和相机偏航角的变化会导致同一场景在图像平面内出现不同朝向。现有的公开基准数据集(如FloodNet和RescueNet)及相关研究主要在原始图像方向上进行性能评估,这隐含地假定图像方向固定。但实际部署中,飞行方向的变化可能造成同一道路、建筑或水体在不同观测架次中出现朝向差异,而语义不变。这种平面内旋转变化与区域、季节、传感器等分布偏移不同,但同样引发关键问题:在某单一采集条件下测得的性能,无法预测其他方向条件下的地图可重复性。因此,仅依赖常规方向的平均交并比(mIoU)不足以度量旋转条件下无人机灾害制图的可靠性。

针对方向变化导致的预测不稳定,现有策略分为两类:其一为训练时旋转增强,它不引入推理开销,但鲁棒性是隐式学习的,未直接约束内部操作对旋转的响应;其二为架构级变换建模,如群等变卷积等,但实际分割流程中存在的填充、插值和空间对齐问题使其应用受限。对于层级分割Transformer(如LRFormer),其空间-令牌路径中多个操作在输入旋转时响应会发生变化,包括卷积位置编码、局部深度卷积、重叠块嵌入、跨步降采样、自适应令牌池化和低分辨率注意力聚合。这些操作沿特征层级耦合,仅修改单个核或注意力操作难以解决整体方向敏感性问题。因此,本研究旨在探究协调处理这些操作类别能否降低直角不一致性,单一对角训练代表能否缩小正交-对角精度差距,以及该设计在匹配训练暴露下与连续随机旋转增强的比较。

**2. 研究人员开展的研究及主要结论**

针对上述问题,研究人员提出了DC4Former分割框架。该框架以LRFormer为骨干,首先通过仅架构变体C4Former从架构层面针对网格保持的C4旋转群(0°、90°、180°、270°)实现一致性,具体通过三种操作符级设计:C4权重对称化的步长为1空间卷积、C4特征旋转平均的跨步降采样、以及带约束融合的对齐四视图低分辨率池化注意力。在此基础上,DC4Former引入单一对角增强(SDA),在训练期间以30%概率对样本施加45°旋转,以补充C4架构基对对应对角方向的暴露。在FloodNet和RescueNet上的多随机种子(3种子)实验中,DC4Former将三种子最差角度前景mIoU分别从70.14%提升至76.83%(FloodNet)和从54.90%提升至67.66%(RescueNet),并将RescueNet八角度标准差从4.17降低至0.33。特征、逻辑和预测层面的一致性诊断表明,C4修改后的编码器在直角旋转下的阶段性特征差异、原始逻辑差异和对齐后预测不一致性显著降低。研究还发现,与不增加推理开销的连续随机旋转基线(LRFormer-RandRot)相比,DC4Former在不同数据集上呈现不同的可靠性-延迟权衡。该研究的重要意义在于证明了操作符感知的C4一致性与对角训练暴露相结合,能有效提升UAV灾害分割在多个方向上的可靠性。论文发表于《Remote Sensing》。

**3. 关键技术方法概述**

本研究主要采用以下关键技术方法:一是C4权重对称化,用于处理步长为1的空间卷积;二是C4特征旋转平均,应用于跨步降采样层;三是C4多视角低分辨率池化注意力结构与约束分支融合,用于注意力路径;四是单一对角增强(SDA),在训练阶段对数据管线施加固定45°旋转。此外,研究还构建了八角度与24角度旋转评估协议及内部一致性诊断方法。所使用的数据集为FloodNet(448张测试图)和RescueNet(450张测试图),采用官方提供的固定划分。

**4. 研究结果**

**4.1. 常规方向结果与复杂度**:在标准0°分割性能方面,DC4Former并未稳定提升mIoU,其主要收益体现在旋转后角度的稳定性上。相对于LRFormer,C4Former增加了0.18M参数,但FLOPs从29.25G增至40.59G,吞吐量从65.58 FPS降至20.17 FPS;在RescueNet整图推理流水线中,延迟从44.13 ms/图增至95.60 ms/图,而峰值GPU内存保持1.51 GB不变,表明主要代价是延迟而非内存。

**4.2. 旋转方向评估**:**FloodNet**上,DC4Former相对于LRFormer将All-8 mIoU提升4.34个百分点,最差角度mIoU提升7.08个百分点,标准差从2.62降至0.30。**RescueNet**上,DC4Former将LRFormer的All-8 mIoU提升9.69个百分点,最差角度mIoU提升14.46个百分点,标准差从4.96降至0.28。定性可视化显示,基线模型在对角旋转下在洪水道路边界和建筑损毁区域出现标签变化,而DC4Former的预测一致性更优。

**4.3. 特征与预测级C4一致性诊断**:在FloodNet上,C4Former将Stage-4相对L2误差从0.59降至0.24,预测一致性前景mIoU从81.51%提升至96.14%,像素不一致率从7.95%降至0.97%。在RescueNet上,预测一致性mIoU从68.84%提升至94.74%,像素不一致率从9.23%降至1.23%,证实改进在最终mIoU计算之前已体现在内部表征中。

**4.4. 密集旋转压力测试**:在24角度协议下,DC4Former在FloodNet上将平均24角度前景mIoU从72.64%提升至77.19%,标准差从1.99降至0.39;在RescueNet上对应值从58.79%提升至65.40%,标准差从3.40降至1.91。DC4Former在RescueNet上的24角度标准差(1.91)高于八角度标准差(0.33),表明其在全部24角度上的变化大于仅八个主方向上的变化。

**4.5. 诊断性旋转增强对照**:与训练时间旋转暴露基线LRFormer-RandRot的匹配比较表明,在RescueNet上添加C4架构(C4Former-RandRot)将All-8从66.43%提升至67.04%,Worst-8从64.26%提升至66.62%,Std.-8从1.30降至0.28;而在FloodNet上未被超越。

**4.6. 消融研究**:三种子消融显示,C4操作符与SDA的作用互补但非加性。C4对称化空间路径改善了直角一致性,但与RescueNet上的对角精度下降关联最密切;SDA独立提升对角精度(RescueNet对角均值从56.27%提升至63.60%);组合后DC4Former在RescueNet上将All-8从LRFormer的59.56%提升至68.01%,Worst-8从54.90%提升至67.66%,其对角均值(68.21%)与正交均值(67.81%)达到了近似平衡。

**4.7. 约束融合界限的敏感性**:在α∈{0.25,0.5,1.0}范围内,旋转方向结果变化适中,更大的上界未产生跨数据集一致或单调的改进,因此主实验保留共享保守设置α=0.5。

**4.8. 对角增强概率的敏感性**:对比p=0.3与p=0.5,三种子比较表明p=0.3在RescueNet上提供更强的八角度指标,在FloodNet上保持竞争力,但不存在普遍最优概率。

**4.9. 类别级与逐类稳定性分析**:在常规方向下,DC4Former的类别级得分与较强基线总体接近。在类别级旋转稳定性方面,DC4Former在FloodNet上将洪水道路的最差角度IoU从51.05%提升至67.54%;在RescueNet上将建筑严重损毁和道路阻塞类别的最差角度IoU分别从37.44%和21.92%提升至59.93%和46.09%。

**5. 讨论与结论**

讨论部分指出,研究结果区分了两个可靠性来源:C4群内的一致性和群外旋转暴露。C4Former使正交方向性能近乎一致,并降低了内部特征和预测不一致性;SDA通过暴露一个对角代表的有效方式补充架构一致性,显著减小了正交-对角差距。与稠密随机旋转增强相比,DC4Former提供了不同的路径,两者在不同数据集上呈现不同的部署权衡。主要代价是推理延迟增加,这使其更适合可靠性优先的服务器端或近离线工作流。

研究结论明确指出,DC4Former通过重新设计LRFormer编码器中的三类旋转敏感操作并结合单一45°训练增强,在FloodNet和RescueNet上提高了最差角度前景mIoU并降低了旋转方向变异性,同时保持了相当的常规方向精度。二十四角度压力测试显示DC4Former比LRFormer在采样中间角度上有更平滑的行为。研究支持在UAV灾害制图中将旋转方向评估与常规方向mIoU一并报告。未来工作将扩展到更多UAV灾害数据集及目标检测、变化检测等遥感感知任务,并探索更高效的群感知操作符以改善可靠性-速度权衡。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号