《Biometrical Journal》:Confidence Intervals for a Proportion Estimated From Pooled Samples Based on Firth's Corrected Score
编辑推荐:
摘要
通过合并样本(pooled samples)检测来估计比例的区间估计方法已被众多研究者广泛研究,他们同时考察了精确方法和渐近方法。在点估计方面的近期工作中,Firth修正(Firth's correction)被用于最大似然估计(maximum like
摘要
通过合并样本(pooled samples)检测来估计比例的区间估计方法已被众多研究者广泛研究,他们同时考察了精确方法和渐近方法。在点估计方面的近期工作中,Firth修正(Firth's correction)被用于最大似然估计(maximum likelihood estimation, MLE)以有效降低偏倚。研究人员将Firth修正得分统计量(Firth-corrected score statistic)——分别采用期望信息(expected information)或观测信息(observed information)——视为惩罚似然(penalized likelihood)的一阶导数函数,并在此框架内开发了基于得分的置信区间(score-based confidence intervals)。研究人员评估了这些方法的性能,按信息类型进行比较,并与现有推荐的Gart渐近方法进行对比。这些方法分别使用野外采集蚊虫中西尼罗病毒(West Nile virus, WNV)感染数据以及Walter等人报道的蚊虫黄热病毒(yellow fever virus)感染数据进行了实例验证。研究发现,采用期望信息的惩罚似然方法将先前分别推荐的点估计与区间估计统一于同一推断框架之下。对一系列合并设计(pooling designs)下区间覆盖性质(coverage properties)的详细评估表明,采用观测信息和得分偏度校正(skewness-correction)的区间性能更优。研究人员推导出得分统计量和偏度校正得分统计量的简洁、可解释的表达式,并给出在所有池(pool)大小相同时偏度校正得分区间的二次公式,该公式在标准二项情形下可化简为标准Wilson区间(Wilson interval)的偏度校正形式。
论文解读:基于Firth修正得分的合并样本比例置信区间研究
一、研究背景与问题
合并检测(pooled testing),又称群组检测(group testing),是将多个个体样本合并为一组进行检测的方法。当检测目标是估计群体中某种属性(通常是感染标志物)的比例时,若该比例较低,合并检测可显著节省检测资源,因而在虫媒病毒传播研究、植物病害评估和HIV患病率估计等领域得到广泛应用。
在统计推断方面,合并检测情形下总体比例的最大似然估计量(MLE)存在正向偏倚。Burrows(1987)针对等池大小情形开发了几乎消除全部偏倚并降低均方误差的估计量;Hepworth和Watson(2009)成功将Gart(1991)描述的MLE通用偏倚校正方法应用于不等池大小情形。Firth(1993)提出了一种通过修正得分方程来调整MLE的通用方法,其修正动机是作为估计方程的偏倚校正,通过从得分函数中减去MLE的信息缩放偏倚来实现,可使用期望(Fisher)信息或观测信息,后者据Firth的理论论证具有更优的高阶性能。
在区间估计方面,Chiang和Reeves(1962)首次针对等大小池或两种池大小情形考虑了合并检测的置信区间(CI)估计;Walter等人(1980)首次处理了不等池大小的一般情形,推导了MLE及其渐近方差用于标准Wald置信区间。Hepworth(1996, 2004, 2005)系统研究了不等池大小合并检测中比例参数的精确和渐近置信区间,其中基于Bartlett(1953)方法并由Gart(1991)采用的偏度校正似然得分区间因其覆盖率和期望长度性质而被推荐。
鉴于Firth得分校正能有效调整估计函数使其最大值更接近参数真值,研究人员旨在基于此校正开发改进的置信区间,同时考虑期望信息和观测信息两种类型,并在此框架内发展偏度校正的得分区间。
二、研究内容与主要方法
研究人员将Firth修正得分函数(分别采用期望信息和观测信息)视为相应惩罚似然的一阶导数,建立了统一的推断框架。在此框架内开发了四种置信区间方法:期望信息惩罚得分区间(EPS)、期望信息惩罚偏度校正得分区间(EPSS)、观测信息惩罚得分区间(OPS)和观测信息惩罚偏度校正得分区间(OPSS)。主要技术方法包括:利用Firth修正得分方程求解点估计;通过微积分基本定理由得分函数积分获得惩罚对数似然函数;对观测信息情形推导得分统计量的均值、方差和偏度表达式;采用得分检验反演方法构造置信区间;引入标准化信息统计量作为客观工具划分结果空间;通过精确覆盖概率计算评估区间性能,包括覆盖率、中位数绝对偏差(MAD)、期望长度和方向性非覆盖等指标。评估覆盖了59种合并设计(池大小-样本量配置),涵盖1至4种池大小、总个体数从75到6250的广泛范围。实例数据包括Walter等人(1980)的黄热病毒经卵巢传播实验数据(2421个个体分为9种池大小共23个池,其中6个阳性)和科罗拉多州柯林斯堡西尼罗病毒蚊虫监测数据(108个个体分为14个池共9种池大小,其中2个阳性)。
三、主要研究结果
3.1 方法推导与统一框架
研究发现,采用期望信息的Firth惩罚得分统计量与标准似然下的得分统计量在计算上完全一致,因此期望信息惩罚得分区间与标准得分区间数值相同,但推断框架不同。当仅有一种池大小时,观测信息得分区间函数中的权重项相互抵消,退化为期望信息得分区间函数,此时两种信息类型的区间完全相同。研究还推导了观测信息惩罚得分统计量的方差和协方差表达式,并证明当观测值接近其期望值时,观测信息与期望信息区间应相似。
3.2 实例应用
在Walter等人数据中,期望信息Firth修正点估计为2.8035‰,观测信息估计为2.8018‰,MLE为2.8757‰。在Fort Collins数据中,期望信息估计为18.090‰,观测信息估计为18.000‰,MLE为18.875‰。各方法所得置信区间在Walter数据中差异较小,在Fort Collins数据中偏度校正对下限的影响更为明显。
3.3 数值评估
对三个代表性设计(D1:1000个体仅10个池;D2:2500个体58个池含三种池大小;D3:1000个体144个池以小型池为主)的精确覆盖评估显示:偏度校正使覆盖率从不达标的约94.7%-95.2%提升至略高于名义95%的水平,同时大幅改善非覆盖对称性。未校正得分区间在p值增大时覆盖率下降,而偏度校正区间围绕名义水平对称波动。总体而言,偏度校正区间平均覆盖率从94.99%提升至95.32%,非覆盖对称性从约12%改善至约-6.6%,代价是期望长度从约5.67增加至约5.95(按100倍缩放)。
3.4 信息类型效应
总体平均性能显示期望信息与观测信息区间差异极小,仅在小数点后第三或第四位有所不同。但通过标准化信息统计量对结果空间进行划分后发现:在"不太可能"(unlikely)的结果集合中,观测信息区间的覆盖率更接近名义水平——59种设计中81.4%的设计观测信息覆盖率更优或相等,平均相对覆盖率提升1.16%;在"可能"(likely)结果集合中,69.5%的设计观测信息表现更优。这表明当观测数据与设计下的期望值偏离较大时,采用观测信息可改善区间性能。
四、讨论与结论
研究确认了偏度校正对得分区间的重要性:未校正时覆盖率低于名义水平且非覆盖明显不对称,校正后平均覆盖率不低于名义水平且非覆盖接近对称。研究建议在实际应用中优先采用偏度校正的得分区间。关于信息类型的选择,当数据结果在给定合并设计下属于"不太可能"情形时,观测信息区间可能提供更优的覆盖性能;标准化信息统计量可作为判断工具。研究还指出,当所有池大小相同时,观测信息与期望信息区间完全一致,此时不存在信息类型选择问题。总体而言,期望信息Firth惩罚似然方法统一了先前分别推荐的点估计与区间估计方法,而观测信息结合偏度校正提供了整体上略优的区间性能。