《Patterns》:A Bayesian framework for anomaly detection in scientific data based on Benford’s law
编辑推荐:
确保数据完整性在现代数据密集型科学中至关重要,这推动了跨数据集异常检测的可扩展方法的发展。Benford's law(Benford定律)描述了自然发生数据中首位数字的特征分布,为异常提供了一种领域无关(domain-agnostic)的信号,但其实际应用受限
确保数据完整性在现代数据密集型科学中至关重要,这推动了跨数据集异常检测的可扩展方法的发展。Benford's law(Benford定律)描述了自然发生数据中首位数字的特征分布,为异常提供了一种领域无关(domain-agnostic)的信号,但其实际应用受限于量化符合度(adherence)和不确定性的困难,尤其是对于不同规模的数据集。研究人员引入基于模拟的Benfordness估计(simulation-based Benfordness estimation, SBBE),一种贝叶斯框架(Bayesian framework),将数据建模为符合Benford分布(Benford-conforming)组分与非符合Benford分布(non-conforming)组分的混合。SBBE提供不确定性感知(uncertainty-aware)的估计,支持可解释性,并实现跨数据集的原则性比较。研究人员使用模拟和真实世界中符合Benford分布的数据验证该方法,并将其应用于生物活性(bioactivity)数据集,在其中揭示了异常和偏差来源。这些结果表明SBBE作为跨科学领域评估数据质量的实用代理指标(proxy)的价值。
该论文发表于《Patterns》。现代数据密集型科学中,数据完整性至关重要。数据是现代研究的基石,但其真正价值取决于完整性;即使微小错误也可造成重大后果。例如,Mars Climate Orbiter的失败可追溯到测量单位不匹配;历史飓风追踪数据库中的不一致导致数十年风暴计数偏低,使气候模型评估复杂化。确保数据质量需要从单样本准确性到整个数据集集合协调与验证的多层次警惕。小样本可人工检查,但规模化不可行。计算方法被广泛用于检测可能反映错误、罕见事件或意外模式的数据异常,常见方法包括数据聚类识别离群点、与历史数据比较揭示时间变化、隔离森林标记易与数据主体分离的数据点。更先进技术将异常检测扩展到数据集级,例如利用汇总统计量或元学习学习特征聚类数据集,主动学习通过选择模糊病例进行专家审查以改进噪声标签。然而,这些方法加剧维度诅咒,因为每个数据集聚合已高维样本,使检测和解释复杂化。这凸显关键空白:缺乏可扩展、领域无关启发式在数据集级标记异常。Benford's law是未充分探索但有前景的方法。该数学原理认为,在自然发生数据中,较小数字更可能作为首位数字。广泛领域数据遵循Benford's law,尤其当值跨越多个数量级时。因此,Benford's law被用于标记数据噪声、异常或潜在欺诈。金融审计识别可疑交易;公共卫生在COVID-19期间评估报告感染率可靠性,揭示潜在数据操纵;近期用于标记AI系统生成数据,如区分AI生成与人类文本,图像领域报道对抗神经网络生成图像相对自然图像偏离Benford's law,音乐领域区分人类作曲与AI生成音乐。重要的是,偏离Benford's law不应默认视为数据操纵证据。常规方法因素如舍入实践、分箱策略和有限动态范围可轻易使观测首位数字频率偏离Benford分布。但偏差也可有信息:地球物理中火星震记录低信噪比引入偏离Benford模式,可用于事件检测。因此,解释Benford异常需区分数据处理伪影与领域特定信号特征。现有量化Benfordness方法包括经典拟合优度检验如χ
2检验和贝叶斯模型比较如贝叶斯因子(Bayes factor, BF)。二者均对样本量敏感,大样本易膨胀,且输出单值不可直接跨不同大小数据集比较。Leemis基于最偏离首位数字比例,Morrow加入样本量缩放,但仍单值。等效污染比例(equivalent contamination proportion, ECP)有点估计但无内建不确定性,未显式编码领域知识。生物活性数据遵循Benford's law且有元数据可过滤。因此,研究人员提出SBBE贝叶斯框架。
关键技术方法不超过250字:研究人员将数据建模为Benford分布与非Benford均匀分布首位数字(first significant digit, FSD)的混合,混合比称为given Benfordness。对不同样本量和混合比(0到1,步长0.02)模拟R=1,000个数据集,计算Benfordness统计量,主要校准logBF,并用核密度估计获得给定统计量似然;以Beta(1,1)非信息先验计算混合比后验。估计Benfordness取最大后验,SBBE Benfordness取后验中位数。数据来源包括ChEMBL36、PDBbind (v.2024) general set、PubChem。ChEMBL36检索5,005,761个生物活性值/350,417个assay;PDBbind 26,983;PubChem 5,224,013/473,567。Assay级分析限制样本量>80且动态范围至少2个数量级,得到4,308个assay。
研究结果:SBBE enables Benfordness comparison across datasets of different sizes。研究人员通过模拟变化数据集大小和Benford/均匀混合比例,计算BF。样本量低于1,000时BF符合预期,多数数据来自Benford分布时支持Benford模型;样本量超过1,000后,需高达98% Benford分布数据才支持Benford模型,故需更好校准。SBBE固定given Benfordness=0.7、变化样本量,后验随样本增大更集中于0.7,无系统偏差。选择BF因能恢复given Benfordness且低高估概率。四个领域已知符合Benford数据验证,强调不确定性估计重要性。
Benfordness of bioactivity data aligns with data quality。应用SBBE,PDBbind估计Benfordness为96%,ChEMBL为76%,PubChem为42%,符合策展标准。ChEMBL按测量类型:EC
50 94%、IC
50 86%、K
i 86%、K
d 84%、AC
50 66%、potency 18%;直接测量终点高,筛选曲线推断终点低。按来源:文献96%,PubChem 28%,低值集中于筛选来源。按出版年份一致高。排除congeneric ligands影响可忽略。
SBBE enables finding irregularities in the data。Assay级设置后验中位数阈值0.5,866/4,308(20%)被flag。578可归因六机制,288未归因。Mechanisms 1 and 2: Data quantization on the log
10 scale:285(33%)为log
10一位小数舍入;110(13%)为0.05增量舍入;PubChem中65%为0.05步、15%为0.1步,合计80%量化;GlaxoSmithKline估计Benfordness<2%,因全部0.1步。Mechanism 3: Truncation:78(9%)在单一高或低值密集簇,检测限边界值被误标为精确值;移除簇后估计Benfordness由54%升至74%。Mechanism 4: Midpoint imputation:64(7%)重复5基值;专利范围导入BindingDB再导入ChEMBL,中点替代范围。Mechanism 5: Powers of ten:11(1%)值集中在10的幂;专利序数分箱边界值导入ChEMBL,产生FSD“1”尖峰。Mechanism 6: Repeat values:30(3%)少量精确值不成比例重复;如CHEMBL3720808含133个值但仅3个IC
50值(0.01、101、501 nM),分别出现60、59、14次;CHEMBL964698按结构相关分子分组导致重复。Distinguishing genuine anomalies from data-limited assays:288未归因中70%低于中位样本量或IQR
1–99<2(log
10),而可归因中35%、非flag中51%。SBBE后验显示,可归因常尖锐,未归因高不确定性跨整个范围;单点无法区分。先验可调筛选。
讨论部分:SBBE通过混合模拟评估Benfordness,输出可解释百分比,可跨不同样本量比较,提供后验不确定性,并可纳入先验使评估更严格或宽松。应用于主要生物活性数据库,Benfordness排名与策展强度一致;在ChEMBL内区分良好与偏离子集;六机制包括良性报告惯例和数据质量问题。偏离Benford's law既非必要也非充分证据;SBBE指示何处查看,而非自动裁决。适用性受样本量和动态范围限制,仅1% ChEMBL assay满足。未来可校准其他统计量,并通过信息先验纳入领域知识。研究结论翻译:研究人员希望SBBE帮助科学界将轻量级、领域无关的完整性检查整合到常规数据工作流中,提高共享资源的可解释性和可信度。为促进采用,研究人员在公共代码库中提供了文档完善、可即用的Python包实现。