《IEEE Transactions on Artificial Intelligence》:Histogram Layers for Neural “Engineered” Features
编辑推荐:
在计算机视觉(computer vision)文献中,已经发展出许多有效的基于直方图(histogram-based)的特征。这些“工程化”特征包括局部二值模式(local binary patterns, LBP)和边缘直方图描述符(edge histogr
在计算机视觉(computer vision)文献中,已经发展出许多有效的基于直方图(histogram-based)的特征。这些“工程化”特征包括局部二值模式(local binary patterns, LBP)和边缘直方图描述符(edge histogram descriptors, EHD)等,并已被证明可作为多种计算机视觉任务中的信息性特征。本文探讨这些特征是否能够通过嵌入神经网络的直方图层(histogram layers)进行学习,从而在深度学习框架中加以利用。通过使用直方图特征,能够更好地利用卷积神经网络(convolutional neural networks, CNNs)特征图中的局部统计信息(local statistics)来表征数据。研究人员提出了局部二值模式和边缘直方图描述符的神经版本,它们能够联合提升图像分类中的特征表示能力。本文在基准数据集和真实世界数据集上进行了实验验证。
该文发表于《IEEE Transactions on Artificial Intelligence》,研究聚焦于将传统计算机视觉中的直方图型“工程化”纹理特征嵌入神经网络,通过可学习的直方图层实现结构纹理与统计纹理的联合建模。研究背景在于,局部二值模式(LBP)和边缘直方图描述符(EHD)等传统特征在纹理表征中长期有效,但其参数如bin中心、bin宽和阈值通常依赖人工设定,调参困难、任务适应性有限,且难以与深度模型进行端到端协同优化。另一方面,卷积神经网络(CNN)虽具备强大的表征能力,却往往更偏重结构性纹理,对局部统计特征的刻画不足,同时存在训练代价高、可解释性较弱等问题。因此,有必要发展一种兼具传统纹理特征可解释性与深度学习可训练性的统一框架。
围绕这一问题,研究人员提出了神经“工程化”特征(neural “engineered” features)框架,以直方图层为核心,将传统特征提取过程拆分为结构纹理提取与统计纹理聚合两个阶段,并分别对应可学习模块。基于该框架,本文构建了神经局部二值模式(neural local binary pattern, NLBP)和神经边缘直方图描述符(neural edge histogram descriptor, NEHD)。其中,前者通过稀疏卷积核模拟中心像素与邻域像素差分关系,再借助激活函数替代硬阈值,并以
1×
1卷积学习二值编码加权;后者通过卷积核提取多方向边缘响应,再借助直方图层对边缘方向进行软分箱聚合。该设计使传统固定规则特征转化为可学习、可微、可端到端训练的网络层。实验表明,这两种方法不仅能够较好重构原始LBP与EHD,还能在图像分类任务中优于对应的传统特征,并在多个数据集上展现出较强性能与较低参数复杂度,说明直方图层可作为连接经典纹理分析与现代深度学习的重要桥梁。
方法上,研究人员采用浅层分类框架验证特征本身的判别能力:输入图像先经过NLBP或NEHD层提取结构纹理与统计纹理,再接全连接分类器。统计纹理部分使用局部直方图层,以软分箱方式学习bin中心与bin宽;结构纹理部分中,NEHD使用边缘方向卷积核与“无边缘”建模,NLBP使用稀疏差分卷积核、激活函数及
1×
1卷积实现编码。实验数据来自FashionMNIST、PRMI和BloodMNIST,其中PRMI为RGB植物根系图像子集,BloodMNIST为血液细胞图像数据集。
在研究结果部分,论文首先给出了“Initialization and Parameter Learning”相关结果。对于NEHD,研究显示该层对随机初始化和EHD式初始化总体较为稳健,但当结构纹理与统计纹理均固定时,基于EHD先验的初始化更具优势。进一步分析表明,当结构特征、统计特征或二者同时可学习时,NEHD均优于基线EHD;其中同时学习两类纹理表示时性能最佳。这说明边缘结构本身对于FashionMNIST服饰类别区分十分关键,而软分箱统计聚合又能够缓解类内变化带来的影响。对于NLBP,消融实验表明,除“随机卷积核初始化且编码基数固定为2的幂”这一受限情形外,模型对随机初始化和LBP式初始化均较稳健。结果还显示,若将结构与统计纹理共同学习,NLBP可取得最优性能,并显著优于基线LBP及所有参数固定设置。这说明可学习直方图聚合能够缓解传统LBP编码稀疏、固定表示不适应具体任务的问题。
在“Neighborhood Size”部分,研究人员考察了结构纹理感受野与统计聚合窗口大小的影响。NEHD与NLBP整体上对不同超参数组合较为稳健,但统计聚合窗口大小的影响普遍大于结构卷积核膨胀率。对于NEHD,性能更受直方图层聚合窗口控制;对于NLBP,较大的
7×
7聚合窗口在所有膨胀率下均表现较差。结果说明,统计信息聚合虽有助于提炼结构特征,但过大的聚合范围可能削弱局部细节,从而影响纹理判别能力。
在“Multichannel Processing”部分,论文针对PRMI这一RGB图像数据集比较了三种多通道处理策略:各通道独立处理、通过
1×
1卷积映射为单通道,以及直接转灰度。结果表明,各通道独立处理获得最高平均测试准确率,说明保留每个颜色通道中的纹理信息最有利于分类;但这种方式会随输入通道数增加而导致特征规模扩张。相比之下,灰度转换和
1×
1卷积映射虽然平均性能接近,但波动更大。研究人员据此指出,若将该类神经“工程化”特征进一步嵌入更深网络,
1×
1卷积可能是更平衡的多通道方案。
在“Comparison of Neural and “Engineered” Features”部分,论文在FashionMNIST、PRMI与BloodMNIST三类数据集上,将NEHD和NLBP与传统EHD、LBP及其变体,以及轻量级CNN模型DSANet和MSDCNN进行系统比较。总体结果表明,NEHD与NLBP在三套数据上均优于传统“工程化”特征。FashionMNIST上,边缘对于服饰轮廓判别尤为重要,因此传统EHD在手工特征中表现最好,但NEHD和NLBP仍取得统计显著的进一步提升;同时,NEHD优于DSANet和MSDCNN,NLBP也优于MSDCNN,表明可学习直方图纹理特征能够以更少参数捕获有效判别信息。PRMI上,NLBP略优于NEHD,研究人员将其归因于LBP类方法对单调光照变化的稳健性,这对于存在根系、土壤背景与成像伪影的农业图像尤为重要。t-SNE可视化显示,NEHD和NLBP学习到的特征类间分离更清晰、类内聚集更紧凑;混淆矩阵也表明两种神经特征提升了各类别识别效果。BloodMNIST上,由于类别数更多且细胞形态差异细微,浅层网络下任务更具挑战性,但NEHD与NLBP仍显著优于传统纹理特征;不过在该数据集上,更深的轻量级CNN表现更佳,提示所提方法未来可结合更深架构或多尺度纹理分析进一步增强。
讨论部分强调,传统手工纹理特征与深度特征并非对立,而是可以通过可微的直方图层实现融合。NEHD和NLBP分别从边缘与局部差分出发,利用卷积层建模结构纹理,再由直方图层建模统计纹理,从而把传统特征中的“编码—计数”机制转化为可训练过程。该框架的主要意义在于:一方面减少了bin中心、bin宽、阈值等人工设定带来的限制,提高了模型对任务和数据的适应性;另一方面保留了经典纹理分析的可解释性,使网络能够以明确的纹理机制学习判别表示。研究还指出,这一神经“工程化”框架并不限于LBP和EHD,未来可扩展至Haralick纹理特征、方向梯度直方图(histogram of oriented gradients, HOG)等更多统计—结构联合特征,并进一步融入深层神经网络、多通道建模和新的目标函数设计。
研究结论部分可译为:本文通过使用直方图层对结构纹理特征进行聚合,提出了神经“工程化”特征方法。研究人员通过两种神经“工程化”特征——神经边缘直方图描述符(NEHD)和神经局部二值模式(NLBP)——展示了该方法的有效性。基于基准数据集FashionMNIST以及真实世界数据集PRMI和BloodMNIST的实验结果,所提特征显示出良好的应用潜力。该神经“工程化”特征的一般框架还可推广到其他纹理特征方法,如Haralick纹理特征、方向梯度直方图(HOG)以及更多统计纹理和结构纹理特征提取方法。未来工作包括将神经手工层集成到更深的网络中、改进多通道处理策略,以及设计新的目标函数以最大化统计纹理和/或结构纹理信息。