《Electronics》:Comparative Evaluation of Perceptual Hashing and Deep Embedding Methods for Robust and Efficient Image Deduplication
Md Firoz Mahmud,
Zerin Nusrat and
W. David Pan
编辑推荐:
摘要:本研究对五种广泛使用的图像相似性检测方法——平均哈希(Average Hash, AHash)、差分哈希(Difference Hash, DHash)、感知哈希(Perceptual Hash, PHash)、小波哈希(Wavelet Hash, WH
摘要:本研究对五种广泛使用的图像相似性检测方法——平均哈希(Average Hash, AHash)、差分哈希(Difference Hash, DHash)、感知哈希(Perceptual Hash, PHash)、小波哈希(Wavelet Hash, WHash)及基于卷积神经网络(Convolutional Neural Network, CNN)的VGG-16特征嵌入模型——在Exact Duplicate(完全重复)、Near Duplicate(近重复)及Transformed(经几何与光度变换)图像数据集上的性能进行了系统性比较评估。研究人员提取各算法生成的特征描述子,采用汉明距离(Hamming Distance)处理哈希类方法,采用余弦相似度(Cosine Similarity)处理CNN嵌入方法,并通过精确度—召回率(Precision-Recall, PR)曲线、受试者工作特征(Receiver Operating Characteristic, ROC)曲线及F1分数进行量化分析。实验结果表明,传统感知哈希算法在计算效率上具有优势,而基于CNN的嵌入方法在抵抗复杂变换及语义层面相似性判定方面表现更优;其中PHash与WHash在鲁棒性与计算成本间取得了较好平衡。本研究为图像处理与检索领域中近重复检测算法的选型提供了实证依据。
研究背景与目的
在数字图像大规模增长的背景下,图像近重复(Near-Duplicate)检测是图像检索、版权保护及数据集去重的关键技术。传统逐像素比对方法无法应对压缩、调光、轻微旋转或裁剪等常见变换。现有感知哈希(Perceptual Hashing)类算法(如AHash、DHash、PHash、WHash)与基于深度学习的CNN特征嵌入方法各有优劣,但缺乏在同一标准下系统的对比评估。因此研究人员开展了此项比较研究,旨在明确各类方法在不同篡改程度数据集上的判别力、鲁棒性及计算开销差异,为实际应用提供选型参考。论文发表于《Electronics》。
关键技术方法
研究人员选用三个图像集:Exact Duplicate(完全相同)、Near Duplicate(轻度JPEG压缩/亮度微调)、Transformed(含旋转/裁剪/滤镜)。对每张图像分别提取:(1) AHash——灰度缩放后均值二值化;(2) DHash——相邻列亮度差分二值化;(3) PHash——缩放至32×32,做二维离散余弦变换(Discrete Cosine Transform, DCT),取左上8×8低频系数,以其中位数(median)为阈值生成64-bit哈希;(4) WHash——缩放至64×64,做二级Haar小波分解取近似(approximation)系数,以其中位数为阈值生成64-bit哈希;(5) CNN Embedding——采用预训练VGG-16网络去掉全连接层,对224×224输入做全局平均池化(Global Average Pooling, GAP)得4096维向量。哈希方法间相似度换算为 shash=1?dH(H1,H2)/64(dH为Hamming距离),CNN嵌入用余弦相似度 sim(z1,z2)=z1·z2/(‖z1‖‖z2‖)。以不同阈值扫描计算Precision、Recall绘制PR与ROC曲线,取最大F1分数评价。
研究结果
2.1. Perceptual Hashing and CNN-Based Embedding Methods
详述了AHash(灰度化→缩至8×8→均值二值化)、DHash(缩至9×8→横向相邻像素差分二值化)、PHash(缩至32×32→DCT→取8×8低频块→中位数阈值二值化)、WHash(缩至64×64→2D Haar小波→取LL近似子带→中位数阈值二值化)及CNN-based Embedding(VGG-16卷积基+GAP→?d向量→余弦相似度)的数学定义与流程。结论:AHash/DHash最轻量但对内容改动敏感;PHash/WHash借助频域/小波低频系数对光照与压缩具更强鲁棒性;CNN嵌入捕获高层语义,抗复杂变换能力最强但计算开销大。
2.2. Feature Extraction Pipeline
说明对三类数据集所有图像统一按§2.1流程提取五种特征,哈希方法用Hamming距离转归一化相似度得分(shash),CNN方法用余弦相似度,用于后续PR、ROC及F1评估。
讨论与结论
研究人员通过实验对比发现:在Exact Duplicate场景下五类方法均达完美区分;Near Duplicate场景下AHash因过于敏感出现较多误判,DHash/PHash/WHash表现稳定且相近,CNN嵌入亦表现优良;Transformed(显著旋转/裁剪)场景下仅CNN嵌入维持较高检测能力,传统哈希尤其AHash与DHash显著退化,PHash与WHash居中但仍受大角度旋转影响。综合而言,若追求实时性与低计算成本且在变换较轻微应用中,PHash或WHash为优选;若需对抗复杂几何变换并具备语义判别力且不拘泥于计算时效,CNN-based Embedding更合适。本研究系统量化了各主流近重复检测算法之性能边界,填补了同类方法在同一基准下对比数据的不足,对图像去重系统设计与算法选型具有重要指导意义。