PharmaVision(PV)数据集与基准:面向药品片剂人工智能质量控制与自动缺陷检测的公共视觉数据集及十二种深度学习架构评估

《Pharmaceutics》:Artificial Intelligence-Based Quality Control of Pharmaceutical Tablets: A Visual Dataset and Benchmark for Automated Defect Detection

【字体: 大 中 小 】 时间:2026年10月11日 来源:Pharmaceutics 6.9

编辑推荐:

  背景/目标:药品片剂的自动视觉检查对于检测制造缺陷和保持产品质量一致日益重要。然而,基于人工智能(artificial intelligence, AI)的缺陷分类进展受限于覆盖不同视觉条件下缺陷片剂的公开可用图像数据集稀缺。本研究介绍PharmaVision

  
背景/目标:药品片剂的自动视觉检查对于检测制造缺陷和保持产品质量一致日益重要。然而,基于人工智能(artificial intelligence, AI)的缺陷分类进展受限于覆盖不同视觉条件下缺陷片剂的公开可用图像数据集稀缺。本研究介绍PharmaVision(PV)数据集,一个用于正常与缺陷压缩片剂分类的公共视觉数据集与基准。方法:PV数据集包含640张智能手机获取图像,涵盖不同片剂产品、背景和照明,具有固定片剂级划分(正常和缺陷类分别为190/190训练、30/30验证、100/100测试图像)。十二种代表性架构,涵盖经典卷积网络、移动网络和视觉Transformer,在相同协议下使用准确率、精确率、召回率和精确率与召回率的调和平均(F1-score)进行基准测试,并报告95%置信区间和配对统计检验。跨数据集泛化在独立pillQC数据集上无微调评估,效率使用参数、Giga浮点运算(Giga floating-point operations, GFLOPs)、延迟和吞吐量进行分析。结果:EfficientNetV2-S在PV测试集上取得最高F1-score(88.56%),尽管配对统计检验未能将其与Xception(87.08%)或Swin-B(85.71%)区分。在pillQC上,GoogLeNet和EfficientNetV2-S显示最强跨数据集性能,而两种视觉Transformer相对于其域内结果下降。AlexNet给出最高理论吞吐量(602.41帧/秒(frames per second, FPS),中位延迟1.66 ms),而ShuffleNetV2和MobileNetV3-small提供最小参数量。结论:域内准确率、跨数据集稳健性和实测延迟出现分歧,没有单一架构在三个轴上均为最佳。PV数据集、代码和评估协议在GitHub公开可用,以支持可重复的基于AI的片剂质量控制。
研究背景方面,药品片剂外观是规定质量属性,可见异常是工艺偏差的外在信号,并可能伴随剂量完整性变化。片剂在制造、搬运和包装中可出现缺角、裂纹、顶裂、分层、斑点、变色、异物、印刷缺失、包衣不均、表面粗糙、变形和尺寸形状异常等。人工目检耗时、劳动密集、主观且易疲劳;规则机器视觉在受控光照和固定几何下有效,但依赖手工特征和阈值,跨片剂形状、颜色、压印、方向、背景、光照和缺陷外观泛化能力有限。深度学习因直接从数据学习判别特征而成为替代方案,并在工业表面缺陷检查和医学图像分析中建立有效性。已有药片视觉检查研究,如Quan et al.、Ra?ki et al.、Ficzere et al.,但均在不同、未公开数据集上开发和验证,结果不能独立验证或共同比较。公开pillQC仅提供单一产品、固定受控成像条件下的正常、缺角和污物图像,不能评估跨产品、背景、光照和设备的泛化。因此,研究人员提出PharmaVision(PV)数据集并建立正常与缺陷压缩片剂分类的公共基准。PV数据集包含640张智能手机图像,正常和缺陷类各320张,固定为190/190训练、30/30验证、100/100测试。图像来源包括真实制药生产中自然发生的缺陷片剂,以及药师在控制条件下手动引入缺陷的片剂,以扩大较少见缺陷类型覆盖。设备为Samsung Galaxy A35和Samsung Galaxy A05,约30 cm距离、无固定夹具,多背景、多光照,手工裁剪后统一至224 × 224像素。划分按物理片剂进行,并使用SIFT(scale-invariant feature transform,尺度不变特征变换)关键点匹配加视觉确认,确保无同一物理片剂跨划分,三个分区采集间隔约两周。标注经过采集初标、第二药师盲审、AI研究人员筛选和药师最终确认。研究人员对十二种架构,包括经典卷积神经网络(convolutional neural network, CNN)、移动网络和视觉Transformer,在相同协议下训练评估;跨数据集在pillQC上零微调评估,仅使用chip和normal类,排除dirt类;效率以参数、GFLOPs、延迟和吞吐量评价。研究结论表明,没有单一架构同时在预测性能、跨数据集泛化和计算效率三方面最佳;PV数据集、代码和协议公开可支持可重复的AI片剂质量控制,此类系统旨在支持而非替代质量保证/质量控制(quality assurance/quality control, QA/QC)人员判断。

主要关键技术方法:样本队列来源为真实制药生产片剂加药师控制条件下制备的缺陷片剂,以及公开独立pillQC数据集;PV含640张图像,固定片剂级训练、验证、测试划分。采集使用Samsung Galaxy A35和A05智能手机,约30 cm、无固定夹具、多背景多光照,手工裁剪并缩放至224 × 224。训练集仅离线增强,采用水平/垂直翻转、±12°旋转、±7%亮度和对比度抖动,从380张扩至1140张。基准十二种深度学习架构,均以ImageNet预训练权重初始化并全层微调,采用Adam、交叉熵、最大100轮、批大小16,按验证F2-score和固定阈值0.40选择检查点。评价用准确率、精确率、召回率、F1-score、95%置信区间、精确McNemar检验和配对bootstrap,效率用参数、GFLOPs、延迟、吞吐量。

研究结果:
3.1 在PV测试集上的域内分类性能:在PV测试集上,EfficientNetV2-S获得最高F1-score(88.56%)和准确率(88.50%),精确率88.12%、召回率89.00%;Xception为87.08%,Swin-B为85.71%。EfficientNetV2-S、Xception、Swin-B、ShuffleNetV2和VGG-19形成84%至89% F1-score的领先组;AlexNet最低(67.91% F1),MobileNetV3-small次低(71.28%)。ShuffleNetV2精确率高(92.86%)但召回率78.00%;Xception召回率高(91.00%),精确率83.49%。由于漏检缺陷片剂后果更严重,召回导向更可取。
3.2 向pillQC数据集的跨数据集泛化:在pillQC零微调评估中,GoogLeNet获最高跨数据集F1-score(76.19%),EfficientNetV2-S为75.00%,二者仅差两张正确分类图像。所有架构F1-score均下降,GoogLeNet下降最小(6.87个百分点),Swin-B(45.09)和ViT(42.93)下降最大。召回率下降大于精确率:ResNet-50精确率96.15%但召回率58.14%,MobileNetV3-small和DenseNet-169召回率分别降至30.23%和34.88%。分布偏移下模型更保守,漏检缺陷片剂增加。
3.3 统计分析:PV测试集200张图像,1个百分点对应2张;pillQC仅43张缺陷图像,1张改变召回率2.33个百分点。3.3.1 95%置信区间:准确率、精确率、召回率用Wilson区间,F1-score用非参数bootstrap,重采样10,000次。PV上领先架构F1-score区间大幅重叠,排序未统计确立;AlexNet和MobileNetV3-small明显较低。pillQC区间更宽,ViT-B/32和Swin-B的区间不与领先架构重叠。3.3.2 配对比较:用精确McNemar检验、配对bootstrap和Holm校正。PV上EfficientNetV2-S与Xception、Swin-B、ShuffleNetV2无显著差异,对AlexNet显著更优;pillQC上GoogLeNet与EfficientNetV2-S无显著差异,但显著优于Swin-B和ViT-B/32。基准能区分领先组和最弱架构,但不确立领先组内排序。
3.4 模型复杂度和计算效率:AlexNet吞吐量最高(602.41 FPS),中位延迟1.66 ms,尽管参数量57.01 M;ShuffleNetV2(1.26 M)和MobileNetV3-small(1.52 M)参数量最小、GFLOPs最低,吞吐量分别为79.75和107.99 FPS。Swin-B中位延迟最高(41.19 ms),吞吐量最低(24.28 FPS)。VGG-19参数量139.58 M但吞吐量146.84 FPS。DenseNet-169和EfficientNetV2-S的延迟均高于理论计算成本相近或更大的Xception和ResNet-50,说明参数和GFLOPs不能可靠预测实测延迟。
3.5 性能、泛化与效率权衡总结:没有单一架构同时占优。EfficientNetV2-S在两个测试集均处领先组,参数中等,但实测延迟高于GFLOPs预期;GoogLeNet域内中游,却获最高跨数据集F1-score且下降最小,参数量5.60 M;AlexNet吞吐量最高但预测最弱;ViT和Swin-B域内有竞争力,但跨数据集下降最大,Swin-B吞吐量最低,在此基准条件下部署吸引力最低。

讨论部分总结:4.1 主要发现指出,没有架构同时最佳;EfficientNetV2-S在两个测试集领先,但其域内优势及与GoogLeNet的pillQC差异均在采样不确定性内;GoogLeNet跨数据集下降最小;AlexNet最快但预测最弱。ViT-B/32和Swin-B跨数据集较低,原文认为可能与自注意力架构数据需求较大有关,但未证实。跨数据集差异同时受片剂外观、缺陷类型、类别流行率、固定阈值和分辨率影响。多数架构召回率比精确率下降更严重,因此支持用F2-score和低于0.50阈值选择检查点。参数和GFLOPs不能可靠预测延迟,标准化协议不代表各架构最大性能,延迟结果依赖硬件。4.2 实践意义:预测优先可选EfficientNetV2-S和Xception;稳健性优先可选GoogLeNet;内存受限可选ShuffleNetV2和MobileNetV3-small,但其泛化弱且并非最快。系统应支持而非替代QA/QC人员。4.3 局限包括数据集规模有限、测试集小、每种架构仅固定种子训练一次、缺陷混合自然与人工来源、仅二分类、固定阈值、产品组可能跨划分且批次未记录、pillQC仅chip类、仅一个外部数据集、标准化非最大性能。4.4 未来工作提出扩展数据、多类缺陷识别、目标域微调或阈值校准、多种子重复、来源分层评估和记录未共识标签。

第5节结论翻译:本研究介绍PharmaVision(PV)数据集,一个用于正常与缺陷压缩药片二分类的公开基准,并对十二种深度学习架构进行参考评估,涵盖经典卷积网络、移动网络和视觉Transformer。数据集结合真实制药生产拍摄片剂和控制条件下制备的缺陷片剂,构建时注重可重复性:每张图像由采集药师标注并经第二药师独立复核,分歧通过共识解决;图像按源片剂划分防止泄漏;分区跨时间分离采集。基准架构中,EfficientNetV2-S始终处于领先组,PV测试集F1-score最高(88.56%),pillQC跨数据集F1-score为75.00%,与最高GoogLeNet(76.19%)统计不可区分;但其优势在测试集采样不确定性内。跨数据集评估显示架构间退化不均,视觉Transformer下降最大,GoogLeNet下降最小。由于跨数据集评估仅基于一个代表单一产品单一成像配置的外部数据集,泛化发现应视为指示性而非确定性。效率分析表明参数量和理论计算成本不能可靠预测实测推理延迟,吞吐量是理论单图像处理速率而非端到端工业管线吞吐量。综上,正常与缺陷片剂分类的架构选择不应仅依赖域内准确率或理论效率指标,而应联合考虑预测性能、训练分布外泛化和代表性硬件上的实测效率。通过公开PV数据集、训练评估代码和参考基准,本研究旨在支持未来AI药品质量控制系统的可重复开发和公平比较,并强调此类系统旨在支持而非替代合格QA/QC人员的判断。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号