审计恶意软件基准测试中的 VirusTotal 共识阈值:基于 EMBER2024 的可复现安全测量研究
《Journal of Information Security and Applications》:Auditing VirusTotal consensus thresholds in malware benchmarks: A reproducible security-measurement study on EMBER2024
【字体:
大
中
小
】
时间:2026年10月01日
来源:Journal of Information Security and Applications 4.4
编辑推荐:
•审计VirusTotal阈值作为EMBER2024基准构建变量。
•LightGBM在T=0.12下,十个种子上挑战集TPR@1%FPR提升4.73个百分点。
•匹配规模对照组探查样本选择与样本数量的区别。
•所有八个测试的加权方案均降低低共识恶意软件的检测率。
•审计流程
•审计VirusTotal阈值作为EMBER2024基准构建变量。
•LightGBM在T=0.12下,十个种子上挑战集TPR@1%FPR提升4.73个百分点。
•匹配规模对照组探查样本选择与样本数量的区别。
•所有八个测试的加权方案均降低低共识恶意软件的检测率。
•审计流程可复用;数值范围具有数据集特定性。
引言
针对可执行文件(PE)恶意软件的静态特征分类器通常使用基于VirusTotal(VT)多扫描器报告的标签进行训练 [1], [2], [3]。语料构建者通常要求报告所涵盖的N个引擎中至少有k个检测结果,等价于共识比率T=k/N。这一选择通常被记录为预处理常量,尽管它实际上改变了每个下游模型所训练的人群。
本研究审计该人群层面的效应。EMBER2024发布的二值标签从未被修改:恶意软件仍是恶意软件,良性样本仍是良性样本。提高T仅会将共识比率r? < T的已发布恶意软件从训练池中排除;没有任何样本被重新归类为良性。这一区分很重要,因为研究对象是置信规则下的训练集成员资格,而非重标注或新分类器。
EMBER2024 [4] 提供了一个有用的压力测试,因为它包含4868个已标注的挑战恶意软件,其观测到的VT共识明显低于训练恶意软件。其中位比率为0.145,而训练池中为0.684。仅12.4%低于发布的默认阈值T_base=0.065,但28.5%低于T=0.10,50.7%低于T=0.15,而训练恶意软件中分别为8.3%和13.0%。因此,过滤移除类似挑战的训练样本的速度是移除全部训练恶意软件的三到四倍。更强的共识是否应改善标签互证,还是恰好移除了检测挑战人群所需的样本,这一点并不显而易见。全文中,低共识恶意软件指观测到VT一致度较低的恶意软件。我们未修改任何二进制文件,且发布的元数据并未说明样本为何具有低共识,也未排除收集前的操纵行为。
这一问题与基准构建相关,而不仅仅是模型调优。安全机器学习评估对标签定义、基础率和分割设计敏感 [5], [6], [7], [8];然而,共识阈值很少伴随敏感性曲线被报告。因此,从共识标注基准引用的结果可能实质性地依赖于实验上游选择的常量。在此PE文献综述中,我们发现没有研究在多分类器族中评估该阈值,同时报告判别能力、校准、种子稳定性、保留集组成以及在已标注低共识挑战人群上的规模匹配对照。
贡献
我们做出实证测量贡献,而非算法贡献。本研究未引入任何检测器、特征表示、损失函数或校准方法。其贡献为:
1. 固定共识阈值审计
算法1正式定义了一个可复用流程,包括阈值扫描、保留集诊断、配对推断、校准检查、规模匹配对照和加权证伪验证。在EMBER2024上我们评估了四个分类器族、11点LightGBM网格、十个种子、文件类型专家和三个对照:共计600次不同模型拟合。LightGBM精细网格识别出经验正效应区域T ∈ [0.08, 0.18],在T=0.12时达到峰值,挑战TPR@1%FPR提升+4.73个百分点,Cohen's d=2.03,Holm校正p=.020。XGBoost显示出相同的粗网格模式,且该结果在EMBER2024作者发布的LightGBM配置下可复现。
2. 探查选择与样本数量的对照
保留集分析追踪类别平衡、文件类型、共识和家族归属。匹配规模臂随后比较基于阈值的移除与均匀移除恰好相同数量恶意软件的效果。随机移除在挑战判别上与基线无法区分,而基于阈值的移除在所有30对种子上超出它3.71–4.94个百分点。该设计排除了池规模和类别先验作为完整解释的可能性,但样本固有难度和挑战相似度仍未解决。
3. 界定实践建议的校准与加权结果
挑战ECE在T=0.10–0.15时降低25–42%,但在校准判别恶化后仍在下降;因此仅靠校准无法识别操作点。匹配规模对照将约五分之一的ECE降低归因于样本数量和类别先验。所有八个测试的固定形式检测加权方案均将挑战检测降低2.90–10.18个百分点,因此在本设置中均不能替代硬过滤。
本工作属于审计模型比较底层假设的安全测量研究谱系 [5], [6], [7]。EMBER2024是案例研究,并非证明某一数值阈值可迁移到每个语料库的证据。此处报告的经验范围以EMBER2024的发布标签、特征空间、挑战构建、约77个引擎的名义分母以及所测试的分类器配置为条件。可复用要素是审计流程以及报告面板相对对(k, N)的要求;新数据集必须针对其标签独立于候选训练阈值的评估目标,重新估计其自身操作区域。第2节将此增量与相邻工作对比定位,第3–5节呈现审计与证据,第6节阐述解释、部署指导和局限性。
EMBER系列基准
EMBER [3] 建立了一个基于LIEF派生表格特征的广泛复用的静态PE基准,SOREL-20M [9] 将该设计扩展到工业规模。EMBER2024 [4] 增加了行为能力、漏洞利用和加壳器特征,并发布了一个已标注挑战分割,其中包含观测到低VT共识的恶意软件。挑战标签由数据集作者提供,而非在我们扫描中从每个候选阈值重新计算;我们将其视为固定,并声明该依赖性为……
问题形式化
EMBER2024为每个样本分配一个固定的发布标签y? ∈ {0, 1},并为每个恶意软件样本分配一个VT检测比率r? ∈ [0, 1]。阈值不重新定义y?;它定义一个训练成员资格掩码:
m?(T) = {
1, 若 i ∈ Ben
1, 若 i ∈ Mal 且 r? ≥ T
0, 若 i ∈ Mal 且 r? < T
}
从而D_train(T) = {(x?, 1): i ∈ Mal_train, r? ≥ T} ∪ {(x?, 0): i ∈ Ben_train}
低于T的恶意软件从训练中排除,从不被分配到良性类别;所有评估标签和人群保持固定。发布的默认值为T_base=0.065,对应于……(原文截断)
CRediT作者贡献声明
Trong-Thua Huynh:概念化、方法论、监督、项目管理、资金获取、资源、写作—审阅与编辑。
Van-Quynh Trinh:概念化、方法论、软件、调查、数据整理、形式化分析、可视化、写作—初稿撰写。
De-Thu Huynh:验证、写作—审阅与编辑。
Ngoc-Hieu Le:调查、写作—审阅与编辑。
利益冲突声明
作者声明他们没有已知的可能影响本文所报告工作的竞争财务利益或个人关系。
Trong-Thua Huynh | Van-Quynh Trinh | De-Thu Huynh | Ngoc-Hieu Le
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号