《Knowledge-Based Systems》:Agreement-aware cross-view refinement and fusion for dual-view X-ray prohibited-item recognition
编辑推荐:
摘要双视图 X 光扫描仪提供同一受检物品的互补图像,帮助安检人员识别可能在单一投影中被遮挡或模糊不清的违禁品。然而,现有的双视图模型通常交换信息并结合预测,而不考虑两个视图是相互支持还是相互矛盾。这可能削弱正确的证据,或放大来自单一视图的错误但高置信度的预测。为了解决这一局限
摘要
双视图 X 光扫描仪提供同一受检物品的互补图像,帮助安检人员识别可能在单一投影中被遮挡或模糊不清的违禁品。然而,现有的双视图模型通常交换信息并结合预测,而不考虑两个视图是相互支持还是相互矛盾。这可能削弱正确的证据,或放大来自单一视图的错误但高置信度的预测。为了解决这一局限性,我们提出了一种一致性感知的双视图识别框架,该框架在决策过程中使用无参数的视图间一致性度量。提出的一致性门控交叉精炼模块根据视图间的不一致调整交叉视图特征精炼的程度,而一致性感知融合则保留仅在单一投影中清晰可见的物品的证据。相同的一致性信号也用于识别可能需要操作员审查的不确定情况。使用 EfficientNet-B4 骨干网络,所提框架在 DvXray 基准上的五次独立运行中达到了 85.2 ± 0.4% 的宏观平均平均精度,比之前报道的最强 DvXray 兼容基线提升了 10.4 个百分点。组件级消融实验、分辨率分析、鲁棒性测试、定量解释分析和多硬件运行时评估进一步考察了框架的有效性、稳定性和计算效率。结果表明,显式建模视图间一致性为双视图 X 光安检提供了一种有效且关注可靠性的基础。
引言
自动 X 光筛查仍然具有挑战性,因为违禁品可能被部分遮挡、因材料重叠而在视觉上失真,或者仅在单一投影中清晰可见。它们的外观也可能因物体方向、比例、材料密度和周围杂物而有很大变化。公开基准如 OPIXray、HiXray 和 PIDray 突出了这些困难,并支持了在现实筛查条件下开发违禁品识别模型 [1], [2], [3]。尽管取得了实质性进展,但大多数现有方法仅分析单一 X 光投影,因此受限于从单一视角可获得的视觉证据。
双视图 X 光扫描仪通过获取同一行李的互补俯视 (OL) 和侧视 (SD) 投影,部分解决了这一局限性。在一个视图中被严重遮挡或视觉上模糊的物品,可能在另一个视图中表示得更清晰。Ma 等人引入了 DvXray 基准和自适应分层交叉精炼 (AHCR) 模块,以促进两个投影之间的特征交互 [4]。Tao 等人随后提出了一种主视图和辅助视图框架,模拟了人工安检员使用的互补检查过程 [5]。最近,Peng 等人通过将从视图视为互补模态,探索了几何和语义推理 [6]。这些研究展示了双视图信息对 X 光违禁品识别的价值。
尽管如此,现有的双视图框架并没有明确使用两个视图之间的一致程度来共同调节特征精炼和预测融合。在 AHCR 中,交叉视图精炼的应用并不以两个特定视图表示是否已经一致作为条件来调节其强度 [4]。同样,置信度加权融合优先考虑产生更自信预测的视图,即使该置信度未得到互补投影的证实。这在杂乱的行李中可能存在问题,重叠的材料可能导致一个视图产生高度自信但错误的响应。
视图间的不一致本身并不表明哪个投影是正确的。然而,它确实识别出了仅凭置信度融合可能不可靠的情况。不一致可能源于违禁品仅在一个视图中可见,因为两个投影包含不同级别的遮挡,或者因为一个视图对杂物产生了虚假响应。因此,对强烈一致和强烈不一致的视图对应用相同的精炼和融合策略可能会抑制有效的单视图证据或放大错误的高置信度预测。这促使构建一个交叉视图处理明确以测量的两个投影之间的一致性为条件的框架。
为了解决这一局限性,我们提出了一种用于多标签、图像级违禁品识别的一致性感知双视图框架。该框架建立在 Ma 等人的 AHCR 基线 [4] 之上,并引入了两个互补机制。第一个是一致性门控交叉精炼 (AGCR),它估计 OL 和 SD 特征表示之间的一致性,并使用相应的不一致来控制交叉视图精炼的强度。潜在假设是,强烈不一致的表示可能更多地受益于交叉视图交互,而已一致的表示则需要较少的修改。与原始的 AHCR 公式不同,因此精炼强度是针对每个输入对进行适配的,而不是统一应用的。
第二个机制是一致性感知融合 (AAF),它使用最终的视图间一致性得分来确定如何组合视图级预测。当两个视图一致时,AAF 保留置信度加权融合。当它们不一致时,它使用带噪或运算公式,保留仅在单一投影中可见物品的强证据,而不是通过简单平均来减少该证据。所提出的融合策略与置信度加权和平均融合替代方案进行了评估,以确定一致性感知公式是否提供了可衡量的优势。
相同的一致性信号还额外用作选择性操作员审查的不确定性提示。低一致性不被解释为错误预测的证据,而是表明两个视图提供了相互矛盾的证据,相应的扫描可能需要人工检查。这种不确定性机制与框架中使用的 Grad-CAM++ 可视化不同 [7]。一致性得分估计交叉视图一致性,而 Grad-CAM++ 表明哪些图像区域影响每个视图中的类别预测。
所提出的框架使用 EfficientNet-B4 作为共享特征提取骨干网络,因为复合缩放在表示容量和计算效率之间提供了实用的平衡 [8]。预处理程序、输入分辨率、增强策略和优化设置是根据对 DvXray 训练集划分的分析而确定的。报告这些基于数据集的选择是为了证明实验配置并提高可重复性;它们不作为独立的算法贡献呈现。
本工作的主要贡献总结如下:
- •
我们提出了一致性门控交叉精炼,这是 AHCR 的一种无参数扩展,其中视图间不一致调节交叉视图特征精炼的强度。
- •
我们引入了一致性感知融合,它根据两个视图之间的一致性调整预测融合策略,并保留可能仅在一个投影中可用的强证据。
- •
我们使用视图间一致性作为不确定性指标,以识别可能需要操作员审查的模糊扫描,同时保留 Grad-CAM++ 作为独立的空间解释机制。
- •
我们提供了全面评估,包括组件级消融实验、五次独立的全模型运行、输入分辨率和超参数敏感性分析、单视图跨数据集迁移、受控鲁棒性测试、定量解释定位,以及在数据中心、消费级、嵌入式和 CPU 硬件上的运行时评估。
本研究考虑的任务是多标签、图像级违禁品识别。模型预测双视图扫描中存在的违禁品类别。因此,报告的宏观平均平均精度是根据每图像、每类别的预测分数计算的。
本文其余部分组织如下。第 2 节回顾了单视图和双视图 X 光违禁品分析、多视图融合、选择性预测和模型可解释性方面的相关工作。第 3 节介绍了提出的一致性感知框架,包括 AGCR、AAF 和基于一致性的选择性审查机制。第 4 节报告了实验评估、消融和敏感性分析、跨数据集迁移、鲁棒性、计算性能和局限性。最后,第 5 节总结了主要发现并概述了未来工作的方向。
章节摘要
相关工作
自动 X 光安检研究已从单视图目标定位发展到双视图推理、不确定性感知融合和人机决策支持。本节回顾了与所提框架最相关的四个领域:单视图违禁品分析、双视图 X 光推理、可靠的多视图融合和选择性预测,以及安检中的可解释性。
提出方法
本节介绍了提出的一致性感知双视图识别框架。我们首先制定多标签双视图任务并描述共享编码器。然后我们介绍 AGCR、特定视图预测头、AAF、选择性审查机制以及实验中使用的实施细节。
结果与讨论
本节从识别性能、组件有效性、泛化性、计算效率、可靠性和事后可解释性的角度评估了提出的框架。我们首先将完整模型与之前报道的 DvXray 基线进行比较 (第 4.1 节)。然后我们隔离了一致性门控交叉精炼 (AGCR)、一致性感知融合 (AAF) 和基于数据集的训练配置的影响,该配置源自统计特性的
结论
本工作通过将视图间一致性作为显式控制信号而非仅用于诊断分析的数量,研究了双视图 X 光违禁品识别。所提出的框架将共享的 EfficientNet-B4 编码器与两个一致性感知机制结合起来。一致性门控交叉精炼 (AGCR) 根据 OL 和 SD 表示之间的一致性调节交叉视图特征精炼的强度,而一致性感知融合 (AAF) 使用
CRediT 作者贡献声明
Husam Al-Sairi:撰写 - 初稿,方法论,形式分析,数据管理,概念化。Amine Guezri:撰写 - 审阅与编辑,撰写 - 初稿,方法论,形式分析,数据管理,概念化。Tariq M. Khan:撰写 - 审阅与编辑,撰写 - 初稿,监督,方法论,概念化。
利益冲突声明
作者声明他们不存在已知的竞争性经济利益或个人关系,这些可能影响本文报告的工作。
Husam Al-Sairi|Amine Guezri|Tariq M. Khan