TongueML:一种基于图卷积和 Transformer 的多属性舌图像分类多任务学习模型

《Biomedical Signal Processing and Control》:TongueML: A multi-task learning model for multi-attribute tongue image classification based on graph convolution and transformer

【字体: 大 中 小 】 时间:2026年10月14日 来源:Biomedical Signal Processing and Control 5.7

编辑推荐:

   **摘要** 舌诊是中医中一种重要的诊断方法,通过舌象的颜色、形态和舌苔等特征来评估健康状况。然而,舌诊往往带有主观性,且易受外部因素影响,限制了其标准化和客观性。为解决这一问题,本研究提出了TongueML,一种用于多属性舌象图像分类的多任务学习模型。每幅舌象图像均标注了

  **摘要**舌诊是中医中一种重要的诊断方法,通过舌象的颜色、形态和舌苔等特征来评估健康状况。然而,舌诊往往带有主观性,且易受外部因素影响,限制了其标准化和客观性。为解决这一问题,本研究提出了TongueML,一种用于多属性舌象图像分类的多任务学习模型。每幅舌象图像均标注了五项诊断属性:舌色(shezhi)、舌形(shexing)、舌苔(shetai)、齿痕(chihen)和裂纹(liewen)。TongueML采用预训练的EfficientNetB0进行特征提取,利用跨尺度Transformer进行局部–全局特征融合,并使用图卷积网络建模空间特征关系。实验结果表明,TongueML优于基线模型,Macro F1分数达到74.56%。这些结果表明TongueML为客观、标准化的多属性舌象图像分析提供了一种有前景的方法,并为智能舌诊提供支持。---**引言**中医是中国文化的重要组成部分,经过数千年的传承与发展,形成了以整体观念和辨证论治为核心的理论体系,积累了丰富的临床经验[1]。舌诊作为中医四大诊断方法之一,具有无创性和操作简便的特点[2]、[3],在中医临床诊断中发挥着重要作用。通过观察舌象的多维特征,如舌体颜色和形态、舌苔颜色和厚薄等,医师可以评估气血津液及脏腑状况,进一步推断疾病进展,从而为临床诊断和治疗提供重要参考[4]、[5]。然而,舌诊仍高度依赖医师的经验,其结果易受主观性、医师专业水平、光照条件等外部因素的影响[6]。这些局限制约了舌诊的标准化、客观性和更广泛的应用。随着人工智能的快速发展,深度学习为智能舌象图像分析提供了新的机遇。现有研究已将深度学习方法应用于舌象图像分割和分类,促进了舌象图像的客观分析。然而,临床舌诊通常需要联合观察多种属性,而非评估单一特征。不同的诊断属性,如舌色、舌形、舌苔、齿痕和裂纹,可能在同一张舌象图像中同时出现,并共同反映舌象的整体状况[7]。因此,从单幅图像中自动识别多种舌象属性对于提升智能舌诊的全面性和客观性具有重要意义。已有若干研究探索了基于深度学习的多种舌象相关属性的识别。Burcu Tiryaki等[8]使用四种神经网络模型——VGG19、ResNet50、ResNet101和GoogLeNet,对一个包含四类病理性舌象图像和一类正常舌象图像的数据集进行分类,并采用多数投票融合策略。Zhang等[9]提出了TIM-Net,将基于ResNet的特征提取网络与全局–局部特征融合相结合,用于多标签舌象图像分类。Lu等[10]提出了DBLSEN,一种结合局部特征提取与标签语义融合的双分支网络。他们随后开发了LSDFIE[11],在统一框架内整合局部细节、空间上下文和标签语义,进一步增强了特征交互。这些研究推动了智能舌诊的发展,并证明了识别多种舌象相关属性的可行性。尽管取得了上述进展,多属性舌象图像分类仍面临若干挑战。齿痕、裂纹等细粒度属性往往细微且不规则,难以与局部视觉变化相区分。此外,不同舌象属性可能同时依赖于局部细节和整体舌象外观,但其互补信息往往未能被充分利用。舌象特征的空间分布,如位于舌缘、舌体中央或舌苔区域的特征,也需要进一步考量。因此,需要更有效的特征表示来提升多属性舌象图像分类的性能。基于此,本研究提出了TongueML,一种用于多属性舌象图像分类的多任务学习模型。每幅舌象图像均标注了五项诊断属性:舌色(shezhi)、舌形(shexing)、舌苔(shetai)、齿痕(chihen)和裂纹(liewen)。该模型使用带有预训练权重的EfficientNetB0提取舌象特征,采用双分支跨尺度Transformer模块整合多层次特征信息,并引入图卷积网络(GCN)从融合特征图中构建空间特征图,从而建模舌象区域特征表示之间的结构关系。本研究的主要贡献如下:1. 提出了TongueML,一种用于多属性舌象图像分类的多任务学习框架。2. 设计了双分支跨尺度Transformer模块,以联合捕获细粒度局部细节和全局语义信息,并通过跨尺度注意力融合增强特征交互。3. 引入图卷积网络(GCN),基于融合特征图标记构建空间特征图,并建模空间特征表示之间的结构关系,从而提升多属性舌象图像分类的特征可辨别性。本文的结构如下:第2节介绍与本研究相关的原理和方法;第3节描述数据集和改进的模型结构;第4节呈现并分析实验结果;第5节讨论本研究的局限性并展望未来研究方向;第6节总结全文。---**章节摘要****EfficientNet**EfficientNet是一种高效的卷积神经网络框架,使用移动倒置瓶颈卷积(MBConv)模块结合压缩–激发(SE)注意力机制来增强通道间特征建模[12]。MBConv模块包含用于通道扩展的1×1卷积、用于局部特征提取的深度可分离卷积、用于通道注意力建模的SE模块以及用于降维的另一个1×1卷积[13]。残差连接也被采用……**数据集与预处理**本研究使用的数据集采集于北京中医药大学第三附属医院,使用专业四诊仪(型号HYBD-003,深圳汇一必达医疗科技有限公司)获取。本研究经北京中医药大学第三附属医院机构审查委员会批准(编号:BZYSY-2025YJSKTPJ-10)。在图像采集前已获得参与者的知情同意。为保护参与者……**评价指标**为全面评估模型在多属性舌象图像分类中的性能,本研究同时采用了任务级和整体评价指标[23]。针对每项诊断属性(包括舌色、舌形、舌苔、齿痕和裂纹),分别计算了准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1分数、受试者工作特征曲线下面积(AUROC)和精确率–召回率曲线下面积(AUPRC)。为总结五项属性上的整体性能……**讨论**本研究提出了TongueML,一种用于中医舌象图像多属性分类的多任务学习框架。通过整合EfficientNetB0、跨尺度Transformer和GCN,模型联合学习了五项诊断属性,包括舌色、舌形、舌苔、齿痕和裂纹。实验结果表明,TongueML的Macro F1分数高于本研究中评估的基线模型,表明其在多属性舌象图像分类方面具有潜力。**结论**舌诊是中医的重要组成部分,具有重要的临床价值。然而,传统舌诊高度依赖临床经验和主观判断,限制了其客观性和标准化水平。为支持自动化的舌象图像分析,本研究提出了TongueML,一种用于多属性舌象图像分类的多任务学习框架。该模型整合了EfficientNetB0、跨尺度Transformer模块和GCN,以分类五项诊断……---**CRediT作者贡献声明****郭淑芳:** 论文审阅与编辑、论文起草、可视化、方法论、调查研究、形式分析、数据整理。**王莉:** 论文起草、方法论、形式分析、概念设计。**林恩爱:** 论文起草、方法论、形式分析、概念设计。**邓亚南:** 论文起草、方法论、形式分析、概念设计。**李慧霞:** 论文审阅与编辑、项目管理、方法论、形式分析、数据……---**资助信息**本研究受以下项目资助:北京中医药大学横向课题(项目编号:BUCM-2024-JS-FW-137)、国家卫生健康委能力建设和继续教育中心慢性病管理研究项目(项目编号:GWJJMB202510010047)以及2025年北京中医药大学社会科学培育项目(项目编号:2025-JYB-PY-001)。---**利益冲突声明**作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。---**致谢**感谢所有对本论文做出贡献的人。---郭淑芳|王莉|林恩爱|邓亚南|李慧霞|韩爱清|唐燕
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号