《Journal of Imaging Informatics in Medicine》:PathScaleBench: A Multidimensional Benchmark of Cross-Scale Representation Behavior and Magnification-Shift Robustness in Pathology Foundation Models
编辑推荐:
病理基础模型(Pathology Foundation Models, PFMs)被广泛用作冻结编码器,但其在组织学放大倍数变化下的行为特征尚不明确。研究人员开发了PathScaleBench,旨在量化跨尺度表征行为,并确定其是否与下游的放大倍数偏移鲁棒性相关
病理基础模型(Pathology Foundation Models, PFMs)被广泛用作冻结编码器,但其在组织学放大倍数变化下的行为特征尚不明确。研究人员开发了PathScaleBench,旨在量化跨尺度表征行为,并确定其是否与下游的放大倍数偏移鲁棒性相关。来自八种癌症类型的七十一张经审核的原生40×癌症基因组图谱(The Cancer Genome Atlas, TCGA)全切片图像,采用原生视野(native-field-of-view, native-FOV)方案,在同一组织中心分别以40×、10×和2.5×进行采样。利用中心核对齐(centered kernel alignment, CKA)、相对保持率(relative retention)、双向跨尺度检索(bidirectional cross-scale retrieval)、癌症检索(cancer retrieval)和邻域保持(neighborhood preservation)评估了八个PFMs。通过十次重复的五折患者分组交叉验证,在一个放大倍数下训练八类线性探针(linear probes),并在所有三个放大倍数下进行测试。模型排名因指标而异。Phikon取得了最高的平均CKA(0.714)、相对保持率(0.774)和邻域保持率(0.248);Virchow2取得了最高的跨尺度检索相似度(0.643);Midnight取得了最高的癌症Recall@1(0.845)。经过多重性校正后,在模型层面未发现任何表征指标与Recall@1显著关联。Midnight表现出最低的放大倍数泛化差距(magnification generalization gap, MGG)(0.082),其次是Virchow2(0.181)和UNI2(0.224)。在1704个案例-模型-尺度对观测中,配对匹配的检索相似度与相应的偏移鲁棒性相关(斯皮尔曼ρ = 0.159,95%置信区间0.059–0.264;Holm校正p = 0.0021)。跨尺度PFM行为是多维度的;全局对齐、局部对应、生物学同一性、邻域拓扑和下游鲁棒性不可互换。没有模型在所有维度上都占优。表征概况可以支持模型选择,但放大倍数鲁棒性应直接进行测试。
论文解读:PathScaleBench——病理基础模型跨尺度表征与放大倍数鲁棒性的多维评估
研究背景与问题
数字病理学本质上是一个多尺度的学科。病理学家在不同放大倍数下观察不同的组织结构:高倍镜下观察细胞核细节和细胞形态,中倍镜下识别腺体、巢状结构、间质和生长模式,低倍镜下判断整体结构、肿瘤边界、坏死和空间组织。这些视图是互补的而非可互换的。因此,处理全切片图像的计算系统面临一个基本但尚未解决的问题:当同一组织中心在不同放大倍数下被观察时,学习到的表征应该发生怎样的变化?
病理基础模型已被广泛用作通用特征提取器,其在单一任务上的强劲表现并不等同于其对尺度的编码方式相同。近期基准测试显示,即使在下游标准化协议下,不同PFMs之间也存在显著差异。放大倍数是一种尤为重要的偏移,因为它同时改变了有效分辨率和固定尺寸编码器所面对的物理视野。目前,大多数PFM评估侧重于终点准确性或检索性能,这些指标能回答模型是否适用于特定任务,但无法揭示其为何有效、结果能否经受住放大倍数变化,或者潜在空间的哪个部分是稳定的。反之,表征层面的指标如CKA描述了共同的几何结构,但本身并不能确立生物学或临床实用性。因此,需要一个能够连接表征层面和下游应用层面的严格评估框架。
研究目的与方法概述
为解决上述问题,研究人员开发了PathScaleBench,旨在量化PFM表征在不同组织学放大倍数下的变化行为,并确定这些表征特性是否与下游的放大倍数偏移鲁棒性相关联。研究采用了受控的原生视野、同中心设计,从71张来自八种癌症类型的TCGA原生40×全切片图像中,于相同组织坐标处采集了40×、10×和2.5×三种放大倍数的224×224像素斑块。随后,将八个当代PFMs作为冻结编码器进行评估。
关键技术方法包括:
- 1.
同中心多尺度斑块采样:在TCGA全切片图像的原始坐标系中定义组织锚点,于每个保留的组织中心,分别在原生40×、10×和2.5×金字塔分辨率下读取224×224像素斑块,确保三个斑块共享相同的级0中心坐标。
- 2.
五维表征剖面构建:采用五种互补的表征度量,包括用于衡量全局几何结构相似性的线性中心核对齐(CKA)、衡量长程尺度对应关系相对于相邻尺度过渡保持程度的相对保持率、评估局部嵌入互操作性的双向Top-5余弦检索相似度、基于融合向量留一法余弦检索的癌症同一性Recall@K,以及量化空间配准锚点间局部关系结构保持程度的邻域保持分数(NPS)。
- 3.
放大倍数偏移线性探针测试:在每个放大倍数下对斑块嵌入进行均值池化和L2归一化,然后训练八类癌症线性探针。采用10次重复的五折分层组交叉验证,确保同一患者的所有切片和放大倍数保持在同一个折叠内。探针在一个源放大倍数下训练,并在所有三个目标放大倍数下进行评估,从而计算放大倍数泛化差距和概率偏移鲁棒性。
主要研究结果
1. 全局表征对齐随尺度分离程度增加而降低
通过线性CKA分析发现,不同PFMs的跨尺度表征对齐存在显著差异。Phikon的平均交叉尺度对齐最高(0.714),而Virchow2最低(0.415)。一致的尺度距离模式是:40×–2.5×这对最远距离的放大倍数显示出最大的全局嵌入几何结构破坏。CKA估计值对斑块采样的稳定性很高。
2. 相对跨尺度保持率主要取决于模型
相对保持率在PFMs之间存在实质性差异。Phikon得分最高(0.774),Virchow2最低(0.614)。混合效应模型分析证实了强烈的PFM效应,而癌症类型主效应及其交互作用无统计学意义,表明相对保持率主要是表征模型的属性。
3. 跨尺度检索揭示了不同的模型层级
在测量原始双向Top-5余弦相似度时,Virchow2获得了最高值(0.643),而UNI最低(0.331)。这与全局对齐的结果形成对比,表明不同指标反映了不同的模型特性。广义估计方程分析显示PFM、尺度对及其交互作用均有显著影响。
4. 生物学同一性和局部邻域拓扑结构以不同方式得以保持
在癌症同一性检索方面,Midnight的Recall@1最高(0.845),模型间差异显著。但在Recall@5和Recall@10时,模型差异不再显著。邻域保持方面,Phikon得分最高(0.248),Virchow2最低(0.179)。这表明语义同一性和局部拓扑在放大倍数变化下可能表现不同。
5. 无单一PFM在多维基准测试中占据主导地位
综合五个基准维度,Phikon在全局对齐、相对保持率和邻域保持方面领先;Virchow2在跨尺度检索相似度方面最强;Midnight在生物学同一性Recall@1方面最优。没有任何一个PFM在所有维度上均排名第一,表明“最佳”模型的选择取决于具体关注的跨尺度行为特性。
6. 尺度感知指标并非传统癌症检索性能的替代品
在模型层面,四个评估的尺度感知指标与癌症Recall@1之间均未发现统计学上显著的单调关联。这表明跨尺度指标并非标准癌症检索能力的简单重新包装。
7. PFMs之间的放大倍数偏移鲁棒性差异显著
通过直接的源到目标放大倍数偏移测试,Midnight的放大倍数泛化差距最小(0.082),最为鲁棒,其次是Virchow2和UNI2。Virchow的差距最大(0.432)。概率偏移鲁棒性分析也得出了相似的领先模型组。
8. 跨尺度检索与下游放大倍数鲁棒性相关
在1704个案例-模型-尺度对观测中,配对匹配的检索相似度与相应的概率偏移鲁棒性之间存在适度的正相关关系(斯皮尔曼ρ = 0.159)。这表明局部跨尺度对应关系捕捉到了表征空间中与实际放大倍数挑战相关的成分。
9. 混合放大倍数预训练与家族内改进的鲁棒性相关
在Virchow家族内部比较中,采用了显式混合放大倍数预训练的Virchow2,其平均放大倍数泛化差距相比Virchow降低了58.1%,且在所有六种源到目标偏移方向上均有改善。
10. 蒸馏改变而非统一保留了跨尺度行为
GigaPath与其蒸馏版本GigaPath-Flash的比较显示,蒸馏提高了跨尺度检索相似度,但略微降低了生物学同一性,并使放大倍数泛化差距增大,概率偏移鲁棒性下降。
讨论与结论
讨论部分强调,放大倍数敏感性不能用一个单一的“尺度不变性”概念来充分描述。放大倍数的变化会影响表征空间的多个方面,包括全局几何、相对保持率、局部跨尺度对应、生物学同一性和邻域拓扑,这些属性相互关联但不可互换。例如,Phikon在全局对齐上最强,但并非最鲁棒的模型;而Virchow2虽全局对齐较低,却在跨尺度检索和下游鲁棒性上表现优异。这反对将成功的尺度感知表征学习视为简单的恒等性问题,因为不同放大倍数下的视图包含了真正不同的生物学信息。研究指出,中间尺度的10×视角可能尤为重要,它代表了一个介于细胞形态和整体结构之间的结构化层次。
研究的实践意义在于,PFM的选择应与预期用途挂钩。对于跨分辨率斑块搜索,局部跨尺度检索比全局CKA更相关;对于依赖稳定邻域几何的工作流,NPS更有信息量;对于可能遇到未知放大倍数的分类器,源到目标偏移矩阵和MGG提供了更直接的应力测试。在本研究中,Midnight、Virchow2和UNI2是最鲁棒的模型。
研究结论翻译如下:
PathScaleBench提供了一个受控的多维框架,用于表征病理基础模型表征在细胞、组织和全局放大倍数下观察同一组织中心时的行为。在八个PFMs中,没有一个模型能同时在全局对齐、相对保持率、局部检索、生物学同一性、邻域拓扑和下游偏移鲁棒性上占据主导地位。Phikon最有力地保持了全局组织和邻域,Virchow2最有力地保持了局部跨尺度检索,而Midnight在癌症同一性和直接源到目标探针测试中最鲁棒。UNI2结合了强大的同一性保持和相对较低的偏移敏感性。配对匹配的检索相似度捕获了放大倍数鲁棒性的一个统计上显著但适度的组成部分,而没有单一的全局表征指标能解释完整的模型排名。因此,尺度意识应作为一个剖面来报告,并且放大倍数鲁棒性应直接进行测试。这一区分有助于防止看似强大的单尺度模型在没有证据表明其表征和预测仍然可用的情况下,被部署到跨分辨率工作流程中。