编辑推荐:
生成模型潜力巨大,但前提是能够信任对其生成数据的评估。通常的做法是通过高维数据的二维可视化来评估质量。本研究表明,许多用于比较合成数据与真实数据的二维分布的质量评分,其结果往往高于应有水平——研究人员将这一现象称为“分数膨胀问题”。研究发现,相关性分数(cor
生成模型潜力巨大,但前提是能够信任对其生成数据的评估。通常的做法是通过高维数据的二维可视化来评估质量。本研究表明,许多用于比较合成数据与真实数据的二维分布的质量评分,其结果往往高于应有水平——研究人员将这一现象称为“分数膨胀问题”。研究发现,相关性分数(correlation score)、Jaccard分数(Jaccard score)、推土机距离分数(earth-mover's score)、Kullback-Leibler散度(相对熵)分数(KL score)、Jensen-Shannon散度分数(JS score)以及Cauchy-Schwarz散度分数(CS score)均在不同程度和不同情境下存在分数膨胀。研究人员提出,任何对所有数据点一视同仁的评分(即“等点”(equipoint)评分)都会表现出分数膨胀。为此,研究人员引入了“等密度”(equidensity)评分概念,并以Eden评分作为已知的首个此类评分示例。研究发现,Eden评分避免了分数膨胀,并且在与人类对核密度估计拟合优度的感知一致性方面,优于上述等点评分。研究人员提出,任何合理的等密度评分都应能避免分数膨胀。此外,还发现了等密度评分与负阶Rényi熵之间的联系。最终得出结论:对于生成模型以及更广泛的低维分布比较任务,等密度评分很可能优于等点评分。
研究背景、现存问题与研究动机
在机器学习和数据分析领域,稳健而准确地比较成对的二维分布至关重要,尤其是在生成模型(generative models)中,用于评估合成数据对训练数据的拟合质量。尽管实际数据集通常是高维的,但二维分析在质量评估中扮演着关键角色,例如通过主成分分析(PCA)、t-SNE或UMAP等降维技术检验变量间的成对关系。然而,比较二维分布并非易事。现有质量评分可分为统计型评分与功能型评分两类,其中统计型评分因其计算简便且易于跨数据集泛化而被广泛使用。常用的统计型评分包括相关系数(correlation coefficient)、Jaccard指数、推土机距离(earth-mover's distance)、Kullback-Leibler散度(KL divergence)、Jensen-Shannon散度(JS divergence)以及Cauchy-Schwarz散度(CS divergence)。然而,这些评分存在一个严重缺陷:它们倾向于给质量较差的拟合打出过高的分数,即所谓的“分数膨胀”(grade inflation)问题。例如,Anscombe四重奏和Datasaurus Dozen数据集生动地展示了即使分布形状截然不同,相关系数也可能完全相同或接近,导致评分虚高。这种分数膨胀会使生成模型看起来比实际表现更好,从而误导模型选择与评估。因此,亟需一种能够真实反映分布拟合质量、避免分数膨胀的新型评分方法。
研究方法与技术路线
为克服分数膨胀问题,研究人员提出了一种全新的等密度(equidensity)评分——Eden评分。其核心思想是将两个分布的核密度估计(KDE)分解为多个等概率密度的环形区域(annuli),分别计算每个环上真实数据与合成数据的Jaccard相似度(即交集除以并集),再取所有环的平均值作为最终得分。这样,所有密度区域(从峰值到尾部)被赋予相同权重,避免了传统等点(equipoint)评分只关注高密度区域而忽略低密度区域匹配质量的弊端。研究中使用了来自加州大学欧文机器学习库(UCIMLR)的真实高维数据集(Covertype、Communities and Crime、Energy Efficiency、Rice等)以及内部合成的二维玩具数据集(Dart、Trimodal、Stripes),并采用了多种生成模型(高斯Copula、CTGAN、流模型nFlow、基于能量的模型)生成合成数据。为验证评分有效性,研究人员邀请了20位具有数据科学、科学或工程背景的人类评估者对39对KDE图进行盲法比较,以人类视觉判断作为基准,采用Cohen's κ系数衡量各评分方法与人类判断的一致性。
研究结果
- •
3.1 相关性分数(Correlation Score):通过Anscombe四重奏和Datasaurus Dozen数据集证明,即使拟合质量极差,相关性分数也普遍极高(0.903至0.994),甚至高质量拟合的分数反而低于某些低质量拟合,表明其存在严重的分数膨胀,无法区分拟合质量的高低。
- •
3.2 推土机距离分数(Earth-Mover's Score):虽然分数范围未像相关性分数那样整体偏高(0.5至1),但低质量拟合仍获得不合理的较高分数,且对异常值敏感,缺乏足够的粒度来区分不同质量的拟合。
- •
3.3 Jaccard分数(Jaccard Score):同样表现出分数膨胀,高质量拟合的分数(0.834)甚至低于最低质量拟合的分数(0.870),尤其当一个分布完全包围另一个分布时问题更为突出。
- •
3.4 Kullback-Leibler分数(KL Score):由于KL散度对高密度区域重叠高度敏感,当合成数据的单一模式覆盖了真实数据的多个模式中心时,即使整体拟合很差,KL分数也会被不合理地抬高。
- •
3.5 Jensen-Shannon分数(JS Score):相比KL分数,JS分数受极端值影响较小且方差更小,但分数膨胀问题更加严重,例如视觉差异明显的拟合却获得了相近的高分(约0.9)。
- •
3.6 Cauchy-Schwarz分数(CS Score):相比其他等点评分,CS分数受分数膨胀影响较小,但当分布离散性降低、覆盖面积增大时,CS分数也开始忽视低密度区域的重大拟合失败。
- •
3.7 Eden分数(Eden Score):作为唯一的等密度评分,Eden分数在所有测试案例中均有效避免了分数膨胀。低质量拟合的分数范围为0.162至0.261,而高质量拟合的分数高达0.853,两者之间存在显著且稳定的3-4倍差距,是唯一能清晰区分高低质量拟合的评分。
- •
3.8 验证(Validation):人类评估者的盲法比较实验显示,Eden分数与人类判断的一致性最高(Cohen's κ中位数达0.72,属于“高度一致”),是80%评估者最认可的评分方法,远优于其他评分。相关性分数和Jaccard分数的κ中位数接近于零,表明其与人类专家的判断无异于随机猜测。
- •
3.9 置信区间(Confidence Intervals):研究发现,单次采样的评分波动较大,可能导致误导性结论。推荐采用重复采样(如5000次)并报告评分分布的分位数(如第5和第95百分位数)来提供更可靠的评估。
讨论与结论
研究人员指出,等点评分(如相关性、推土机距离、Jaccard、KL、JS、CS等)之所以普遍存在分数膨胀,是因为它们对每个数据点赋予相同权重,导致评分主要由高密度区域决定,而忽略了低密度区域的匹配情况。相比之下,等密度评分(如Eden)对每个密度区域赋予相同权重,迫使分布的所有部分(从峰顶到山脚)都必须良好对齐才能获得高分,从而从根本上避免了分数膨胀。因此,研究人员认为,在需要整个分布都保持高精度(如医学应用中罕见病例与常见病例同等重要)的场景下,等密度评分应优先于等点评分。研究还发现Eden评分与负阶Rényi熵之间存在理论联系,为未来研究提供了新的方向。最后,研究强调,无论采用何种评分,都应通过多次采样来报告置信区间,以避免因单次采样误差导致的错误结论。