《SoftwareX》:RCtest: An R Package for comprehensive forecast evaluation via reality check and predictive density tests
编辑推荐:
RCtest是一个R语言软件包,实现了用于评估竞争性预测模型相对于基准模型准确性的综合统计检验集合。该软件包在单一界面中整合了计量经济学文献中发展出的多模型预测评估方法的主要类别:现实检验(Reality Check)及其优越预测能力(Superior Pre
RCtest是一个R语言软件包,实现了用于评估竞争性预测模型相对于基准模型准确性的综合统计检验集合。该软件包在单一界面中整合了计量经济学文献中发展出的多模型预测评估方法的主要类别:现实检验(Reality Check)及其优越预测能力(Superior Predictive Ability)扩展、条件预测能力(Conditional Predictive Ability)检验、基于Kullback-Leibler信息准则(Kullback-Leibler Information Criterion, KLIC)与ZP分位数损失(ZP Quantile Loss)的预测密度检验、连续排名概率分数(Continuous Ranked Probability Score, CRPS)以及用于风险价值(Value at Risk, VaR)回测的无条件覆盖检验。对于时间序列依赖条件下的推断,自助法联合方法采用移动区块自助法(Moving Block Bootstrap, MBB),并在适用情况下使用异方差和自相关一致(HAC)协方差估计。连续排名概率分数(CRPS)是根据提供的预测样本计算的评分规则,Kupiec检验使用渐近似然比参考分布。WRC、SPA、CPA、KLIC、ZP及基于累积分布函数(CDF)的现实检验比较在时间序列依赖条件下使用移动区块自助法推断,并在需要时进行HAC协方差估计。
**RCtest:一个通过现实检验和预测密度检验实现全面预测评估的R软件包——研究解读**
**一、研究背景与意义**
在实证经济学、金融学和计量经济学中,评估竞争性预测模型是否优于选定基准模型是一个核心问题。当同时考虑多个模型时,传统的两两比较方法会导致第一类错误在多个模型中被放大,这一现象被称为数据窥探偏差(data snooping bias)。White(2000)通过现实检验(Reality Check, WRC)框架正式解决了这一问题,该框架检验联合零假设,即没有竞争模型的期望损失低于基准模型,从而控制了族wise误差率。WRC及其扩展已成为预测评估的标准工具,然而其应用受到缺乏提供所有主要变体并保持一致性界面的统一R软件包的限制。
计量经济学文献已产生WRC的三个重要扩展。Hansen(2005)提出了优越预测能力(Superior Predictive Ability, SPA)检验,通过每个模型的HAC标准差对学生化检验统计量,提高了有限样本功效并纠正了WRC的保守性。Giacomini和White(2006)引入了条件预测能力(Conditional Predictive Ability, CPA)检验,以检测可能逃脱无条件检验的状态依赖预测优越性。Corradi和Swanson(2006)通过基于KLIC的检验和ZP分位数损失检验将框架扩展到密度预测评估。本文所述的软件包还纳入了连续排名概率分数(CRPS),这是一种严格适当的评分规则,同时奖励概率预测的校准性和锐度。
尽管这些方法具有重要性,但其实现在现有软件中仍然分散。研究人员通常从头开始重新实现各个检验,这引入了编码错误和不兼容输出格式的机会。RCtest通过提供覆盖现实检验文献所有主要分支的单一R接口,以及可视化、两两Diebold-Mariano检验、滚动方差估计和自动化Markdown报告生成等实用功能,弥补了这一空白。
**二、研究内容与结论**
研究人员开发了RCtest这一综合性的R软件包,旨在提供统一的预测评估工作流程。该软件包可在CRAN上获得,依赖ggplot2、gridExtra、ggrepel、rlang和stats等标准R包。软件架构分为三个层次:核心统计层(实现单个检验和损失计算)、工作流编排层(协调从原始预测矩阵到完整检验结果集的全流程)和可视化层(三个基于ggplot2的出版级绘图函数)。
该软件包实现了White现实检验、Hansen SPA检验、Giacomini-White CPA检验、Corradi-Swanson KLIC密度检验和ZP尾部概率检验、基于CDF的现实检验分布扩展、CRPS计算、Kupiec无条件覆盖检验、Newey-West HAC协方差估计、Künsch移动区块自助法以及两两Diebold-Mariano检验等多种核心功能。软件内置了一个包含165个月世界银行基础金属价格指数预测数据的示例数据集(metals),涵盖14个竞争模型。
实证结果表明,该软件包能够有效识别相对于AR(1)基准模型具有更低预期损失的竞争模型,其中多个贝叶斯动态混合模型(BDMM)、动态模型平均(DMA)、贝叶斯LASSO和贝叶斯RIDGE模型表现优于基准模型。蒙特卡洛模拟研究评估了WRC、SPA、CPA、KLIC、ZP和CRPS的有限样本拒绝行为,表明在基准原假设下这些检验具有良好的尺寸控制,在备择假设下具有令人满意的功效。数值验证确认了CRPS计算与scoringRules包、Kupiec似然比统计量与独立计算和ExactVaRTest的一致性,以及Diebold-Mariano检验与forecast包的一致性。
**三、关键技术与方法**
研究人员在软件包开发中采用了多项关键方法。移动区块自助法(MBB)通过有放回地抽样重叠区块并拼接来保留时间序列的短期自相关结构。HAC协方差估计采用Newey-West估计器,截断滞后设置为MBB区块长度。SPA检验的一致性p值通过在样本均值处重新中心化自助统计量获得,保守p值则在最不利配置下计算。CRPS通过能量分数恒等式从预测样本计算。Kupiec检验使用渐近卡方参考分布评估无条件覆盖。蒙特卡洛实验使用500次重复和499次MBB重复,系统改变了评估样本长度、序列依赖程度、模型间相关性、异方差性和区块长度。模拟设计包含了点预测损失差分、高斯密度预测比较、尾部概率校准和VaR覆盖等不同数据生成过程。
**四、研究结果**
**联合检验结果。** 以AR(1)为基准、HA为实现序列,在MSE、MAE和MASE三种损失函数下,WRC和SPA一致性检验在所有指标下均拒绝联合零假设,CPA检验亦拒绝零假设,而SPA保守检验未能拒绝。ZP和KLIC分布检验未能拒绝零假设,而基于CRPS的CDF-RC比较在5%显著性水平下拒绝了零假设。
**区块长度敏感性分析。** 对于区块长度3、5、8和12,WRC p值分别为0.016、0.011、0.005和0.002,SPA一致性和CPA p值全程低于0.001,SPA保守p值在0.395至0.529之间。结论在不同区块长度下保持一致:WRC、SPA一致性和CPA拒绝联合零假设,而SPA保守检验未能拒绝。
**蒙特卡洛模拟研究。** 在基线零假设设计下(150个观测值,自回归系数0.3,相关同方差序列,区块长度5),WRC、SPA和CPA的拒绝率分别为7.2%、8.4%和7.6%,KLIC为9.6%,ZP为2.2%,平均每模型DM率为7.6%,平均每模型Kupiec率为5.9%,基于CRPS的CDF比较低于0.2%。在强序列依赖条件下(φ=0.6),WRC、SPA、CPA、平均DM、KLIC和ZP的拒绝率分别为14.0%、16.6%、14.0%、12.0%、9.8%和3.4%。在基线备择假设下,WRC、SPA、CPA、KLIC、ZP、平均每模型DM率和平均每模型Kupiec率的拒绝率分别为84.4%、85.8%、74.8%、至少99.8%、18.4%、40.0%和80.7%。
**逐模型Diebold-Mariano检验。** 在13个竞争模型中,10个模型(DMA、BDMM-SS、DMA-K、B-LASSO、BDMM-NR、B-RIDGE、BDMM-K、BMA、DMS、BMS)在两个方向上均显著优于AR(1)基准模型,而TVP-REG、TVP-K和Lin_reg未能显著优于基准模型。
**VaR回测结果。** 在5% VaR检验中,预期违约次数为8.25(165期乘以5%)。各模型观察违约次数介于7至11之间,所有模型的Kupiec检验均未能拒绝无条件覆盖零假设。平均ZP损失在0.0091至0.0291之间,为尾部概率校准提供了补充信息。
**数值验证。** CRPS计算与scoringRules包的差异为0.002152(0.649%),Kupiec似然比统计量与独立计算和ExactVaRTest一致至数值精度,DM检验与forecast包在5%决策上完全一致。
**运行时性能。** 完整的WRC-SPA-CPA检验组合在5个模型和199次自助重复下的中位数运行时间约为0.019秒,13个模型和999次重复下约为0.104秒,30个模型和4999次重复下约为0.696秒。
**五、讨论与结论**
RCtest软件包填补了多模型预测评估工具在R生态系统中碎片化的重要空白。与现有软件包相比,RCtest提供了统一的集成工作流程,涵盖联合固定基准检验(WRC、SPA、CPA)、逐模型Diebold-Mariano统计量、密度导向和尾部导向工具、可视化及报告生成功能。该软件包特别适用于大宗商品价格预测、宏观经济密度评估、金融风险回测、流行病预测比较和气候模型选择等研究领域。
研究结论表明,RCtest提供了White现实检验、SPA检验、CPA检验、KLIC和ZP密度预测评估检验、基于CDF的现实检验比较、基于CRPS的CDF比较以及Kupiec无条件覆盖检验的统一R实现。WRC、SPA、CPA、KLIC、ZP和基于CDF的现实检验比较使用移动区块自助法推断,需要长运行方差估计的程序应用学生化处理,CRPS是由提供的预测样本评估的评分规则而非自助检验,Kupiec无条件覆盖检验使用渐近似然比参考分布。该软件包以GPL-3许可免费在CRAN上发布,没有编译代码,仅使用标准R包依赖,并包含真实世界基础金属价格指数数据集、自动化工作流工具、扩展测试套件和所有已报告分析的可重现性脚本。