《Frontiers in Artificial Intelligence》:TongueBench: performance of prompt-engineered large multimodal models in Traditional Chinese Medicine tongue diagnosis
编辑推荐:
引言:中医舌诊(Traditional Chinese Medicine, TCM)需要跨舌体形态、舌色、苔质和苔色重建多种视觉体征。研究人员开发了TongueBench,作为面向应用程序编程接口(application programming interfa
引言:中医舌诊(Traditional Chinese Medicine, TCM)需要跨舌体形态、舌色、苔质和苔色重建多种视觉体征。研究人员开发了TongueBench,作为面向应用程序编程接口(application programming interface, API)访问大型多模态模型(large multimodal models, LMMs)的提示受控、本体约束评估协议,且不进行任务特异性训练。方法:在2,694张舌图像和22个专家裁决标签上,于直接提示(direct prompting, DP)、知识引导提示(knowledge-guided prompting, KGP)和知识引导反思提示(knowledge-guided reflective prompting, KGRP)下评估九种LMMs。针对主要LMM与监督学习比较,将存档LMM预测与三种监督基线所用同一270张测试图像匹配。敏感性分析评估固定标签顺序、仅训练频率和无冲突移除。原始输出审计区分模型生成的本体违规与确定性后处理对其的移除。结果:在九种被评估模型中,KGRP使平均Micro-F1由47.57%升至48.51%,Macro-F1由32.41%升至33.60%,样本级Jaccard由34.45%升至35.32%,同时使Hamming loss由26.39%降至25.54%。模型级变化具有异质性。图像级自助法区间描述了在未验证图像独立性假设下固定九模型平均对比。监督模型在匹配分割上具有更好的观察聚合分数,但无法建立患者级分离。敏感性分析保留了平均KGRP对DP变化的方向。讨论:TongueBench刻画了适度的提示相关变化、解析失败、重复输出变异和不完整标签集重建。这些观察不能确立普遍提示优越性、患者级泛化性或临床效用。
论文解读文章
研究背景与问题。中医舌诊(Traditional Chinese Medicine, TCM)是中医望诊的组成部分,临床判断需综合舌体形态、舌色、裂纹、齿痕、苔厚、苔质、润燥和苔色等视觉体征,而非依据单一征象。该任务中部分标签互斥、部分常共现、部分仅由细微颜色或边界线索区分,因此更适合被视为本体约束的多标签推理,而非普通单标签图像分类。现有自动舌象分析进展多来自监督学习,深度卷积和多标签模型已用于舌病变与正常图像区分及多特征识别,相关研究也改进了数据集构建、图像质量评估、舌分割和端到端流程;这些研究说明在标注训练数据和模型特异性优化可用时,监督或任务适配模型可学习有用表征,但未回答另一评估问题:在无任务特异性训练且提示构建为主要可控设计变量时,API访问的通用LMMs能在多大程度上完成该任务。医学LMMs的观察性能不仅取决于模型参数,还受任务指令、注入的领域定义、输出模式和验证提示影响;强总体表现可与协议依赖、隐藏推理缺陷和稳健性限制并存。在标签定义重、本体约束强的TCM舌诊中,这些风险可能尤为相关。因此,研究人员将提示构建视为可测量的推理期干预,开展TongueBench研究。研究人员在2,694张舌图像和固定22标签本体上评估九种API访问LMMs,比较DP、KGP和KGRP,并提出四方面问题:明确TCM知识是否改善本体一致零样本标签重建;反思性矛盾检查是否改善性能或改变重复生成稳定性;提示效应是否在模型和标签间一致;以及如何在与任务特异性监督参考模型比较的语境中解释提示条件化LMM性能。研究得出KGRP使九模型平均分数轻度改善但模型间异质、完整标签集重建仍困难等结论;其重要意义在于提供可审计的评估协议,而非新诊断模型或临床部署主张。
关键技术方法。研究人员构建零样本多标签基准,以提示构建为主要推理期干预;九种API访问LMMs在2,694张舌图像和固定22标签本体上接受DP、KGP、KGRP三种提示,每图像每条件请求三次生成,采用JSON解析、别名归一化、12条互斥规则处理、严格多数投票及Micro-F1、Macro-F1、样本级Jaccard、Hamming loss、精确匹配和解析成功率评分;并与Faster R-CNN(基于区域提议的目标检测框架)、LGAN(标签引导注意力网络)、IF-RCNet(混合输入与特征融合的舌分割-分类网络)在相同270张测试图像上作描述性比较;图像级自助法和冲突解决策略敏感性分析用于条件性评估。样本队列来自湖南中医药大学第一附属医院、中山大学附属第五医院中医肿瘤科及湖南中医药大学含浦校区健康或亚健康学生。
研究结果。4.1 提示构建策略在LMMs和标签间的效应(Prompt construction strategy effects across LMMs and labels):通过比较九种LMMs在DP、KGP、KGRP下的配对指标,研究人员发现KGRP在七种模型中取得最高Micro-F1,而GPT-5.3和Qwen3-Omni-30B-A3B在DP下最佳;Doubao-Seed-2.0-Pro和Gemini-3.1-Pro的KGRP表现较强,MiniMax-M2.7在KGRP下Micro-F1仅0.36%、解析成功率10.79%。标签层面,白苔、薄苔、淡红舌和裂纹舌平均F1较高,薄舌、无苔、蓝紫舌、灰黑苔、瘀斑和淡白舌较低;DP至KGRP最大平均增益见于嫩舌、无苔、胖舌、暗红及红舌、蓝紫舌、厚苔和薄苔,齿痕舌、淡白舌、灰黑苔和瘀斑下降。结论为提示相关变化在模型和本体标签间异质,不支持普遍提示排名。4.2 总体准确率与本体域表现(Aggregate accuracy and ontology-domain performance):通过九模型等权均值汇总,KGRP相对DP提高平均Micro-F1、Macro-F1、宏平均平衡准确率和样本级Jaccard,并降低Hamming loss;精确匹配率仅由0.40%升至0.49%,解析成功率由89.70%升至89.83%。图像级配对自助法显示固定九模型平均KGRP?DP的Micro-F1为+0.94个百分点、Macro-F1 +1.19、Jaccard +0.87、Hamming loss ?0.85,但依赖未验证图像独立性假设。本体域分析显示变化主要位于舌色和苔质域,舌形域Micro-F1变化小,苔色域总体稳定。冲突解决敏感性分析保留了平均KGRP对DP变化方向。4.3 重复生成稳定性与漂移(Repeated-generation stability and drift):通过72,738个图像-模型-提示组合及217,437条生成记录,研究人员发现规范后处理输出中平均配对Jaccard一致性由DP的70.97%降至KGRP的70.03%,E
consistent由26.02%降至23.66%,E
dynamic由2.73%升至3.07%;后处理E
single在三提示下均为0,表明确定性互斥规则被执行,而非模型独立掌握本体。原始输出审计中KGRP的合并解析生成冲突发生率较低,但后处理零值不能解释为模型本体一致性。4.4 与监督基线的比较(Comparison with supervised baselines):通过匹配同一270张测试图像,三种监督基线在F1和Jaccard上高于所有九种KGRP LMMs,Hamming loss更低;KGRP Micro-F1范围为0.48%至59.11%,监督基线为68.63%至73.00%。该比较为图像级分割上的描述性结果,患者重叠不可排除,不能建立患者独立相对性能。4.5 精确匹配失败负担(Exact-match failure burden):以多数投票预测与完整参考标签集精确一致为准则,2,694张图像中有2,552张无任何模型-提示组合达到精确匹配;按提示策略分组,DP、KGP、KGRP分别有2,632、2,618和2,607张图像无任一模型精确匹配,占97.70%、97.18%和96.77%。KGRP轻度减少无精确匹配图像数,但这些计数描述评估组合的精确匹配覆盖,不是患者级临床失败率。
讨论总结与研究结论。讨论指出,提示构建可改变被评估API访问LMMs在TCM舌诊中的观察行为;KGRP使固定九模型平均分数轻度增加,但模型特异估计和中位数/四分位距汇总显示异质响应,探索性图像自助法区间受存档基准配置和未验证图像独立性假设限制,不能确立KGRP在LMMs总体中普遍优越。监督比较使用相同270张测试图像解决了图像范围不匹配,但监督分割在图像级进行且患者链接不可用,同一参与者的相似图像可能同时出现在训练和测试子集,可能使监督分数偏高,故聚合排序仅描述该分割。稳定性结果依赖评估阶段:原始解析输出含本体违规,确定性后处理将其移除,后处理E
single为0表示规则执行;KGRP原始冲突较少,但平均配对和完全重复输出一致性略低于DP,这些指标反映不同输出行为并使用不同分母。额外敏感性分析显示,使用频率无关固定顺序和无冲突移除时,平均提示对比及模型特异Micro-F1方向仍持续;仅训练频率在留出测试子集产生相同投票预测,但原始分数仍是基准知情流程的输出,不能验证原始使用测试集标签信息或确立临床优先级规则。精确匹配分析表明,即使聚合F1改善,完整标签集重建仍困难,多数图像含5–7个阳性标签,严格精确匹配惩罚每个缺失或额外标签;该发现涉及标注舌征的完整重建,未评估单个标签错误对临床诊断或治疗决策的影响。专有API模型不披露完整预训练语料或更新历史,存档不能确定TongueBench图像及相关舌图像语料是否在模型运行前可用,预训练暴露和后续更新不能排除,限制了“零样本”的解释。
研究结论(原文结论翻译):TongueBench提供了一种提示受控协议,用于评估API访问LMMs中可观察的多标签重建和输出行为。KGRP使九种被评估模型的平均分数出现适度改善,但模型特异性变化异质且完整标签集重建失败持续存在。在测试的基准频率冲突解决替代方案下,适度的平均对比仍存在。原始输出冲突、后处理效应以及保留和缺失生成的分母必须分别报告。同图像监督比较和探索性自助法摘要仍受未验证患者独立性限制。这些发现支持对所评估系统的透明基准测试,但不能确立普遍提示优越性、患者级泛化性或自主诊断就绪度。