不稳定的收益:金融深度强化学习的多重性感知评估

《The Journal of Finance and Data Science》:Unstable Gains: Multiplicity-Aware Evaluation of Financial Deep Reinforcement Learning

【字体: 大 中 小 】 时间:2026年08月27日 来源:The Journal of Finance and Data Science 3.7

编辑推荐:

  中文摘要翻译:本文考察了深度强化学习(DRL)在随机优化条件下金融决策中的可靠性。尽管DRL在算法交易和投资组合管理中日益普及,但实证研究往往依赖于单次运行的回测和未经调整的算法比较。研究人员表明,此类做法可能产生经济绩效稳定超越的虚假印象。在股票交易和加密货

  
中文摘要翻译:本文考察了深度强化学习(DRL)在随机优化条件下金融决策中的可靠性。尽管DRL在算法交易和投资组合管理中日益普及,但实证研究往往依赖于单次运行的回测和未经调整的算法比较。研究人员表明,此类做法可能产生经济绩效稳定超越的虚假印象。在股票交易和加密货币投资组合配置实验中,研究人员在固定超参数条件下跨多次独立训练运行复现了既有的DRL架构。研究发现,夏普比率在不同随机种子间存在显著差异,且表面上的卓越表现通常在多次运行和多重性感知评估下消失。在原始排行榜中看似具有经济意义的算法间相对比较,在经过置换检验和族系错误校正后,往往失去统计显著性。在高波动性的加密货币市场中,同样较大的夏普比率在缩水夏普比率(DSR)下可能获得显著不同的诊断支持水平,这表明异常回测的证据价值不仅取决于其幅度,还取决于其相对于随机训练运行结果分布的稀有性。研究人员主张,当交易策略由非凸随机优化产生时,绩效应被视为学习策略上的随机变量,而非数据的确定性函数。研究人员提供了一个基于多运行评估、不确定性量化和显式多重性控制的DRB金融模型评估规范性框架。研究结果表明,若缺乏多重性感知评估和稳定性分析,金融DRL中报告的改进可能反映的是随机优化和模型选择过程,而非经济绩效的稳健提升。
论文解读文章:

**一、研究背景与问题**

深度强化学习(Deep Reinforcement Learning, DRL)已成为现代金融研究与实践中的重要范式,尤其在算法交易和投资组合管理领域。与传统计量经济学或监督学习方法不同,DRL提供了一个端到端的决策框架,将市场状态直接映射为投资组合操作,其输出不仅是预测,更是一系列决定实际金融敞口的行为序列。然而,尽管DRL在金融领域的应用日益广泛,其评估可靠性却面临严峻挑战。实证研究普遍依赖单次运行的回测和性能点估计,往往不报告跨独立训练运行的变异性。这一做法在金融DRL研究中持续存在,包括近期报告DRL优越性能的研究以及对这种优越性提出质疑的工作。虽然少数研究报告了跨运行的变异性,但系统性的不确定性量化仍是例外而非常态。

这一问题超越了强化学习本身的范畴。实证金融长期以来一直面临多重检验和选择偏差的困扰,如因子发现文献中的回测过拟合问题。DRL引入了额外的风险层:策略通过非凸随机优化获得,即使数据和超参数固定,重复训练也可能产生实质性不同的决策规则。因此,DRL策略的回测不应被解释为经济优势的确定性估计,而应被视为随机优化所诱导的可行策略分布中的一次抽样。若不考虑训练试验和模型选择中固有的多重性,研究人员可能会将有利的随机实现与结构性阿尔法混为一谈,这种现象类似于算法比较中的金融“赢家诅咒”。

**二、研究内容与主要结论**

本研究采用模型无关的视角,聚焦于评估而非算法创新。研究人员在相同模型配置下,跨多个独立随机种子复现并扩展了若干著名的DRL交易和投资组合管理策略,明确将性能视为学习策略上的随机变量。研究涵盖三个实验设置:股票交易、基于检查点模型选择的DRL算法比较基准测试、以及加密货币投资组合配置。

研究得出三个核心发现:(1)绝对性能指标如夏普比率对随机训练变化高度敏感;(2)一旦考虑随机优化产生的多重性,算法间的相对排名容易受到金融形式“赢家诅咒”的影响;(3)高波动性环境增加了随机优化产生的结果变异性,导致看似相似的回测结果在诊断支持上产生显著差异。更广泛而言,在单次运行回测中看似经济上有吸引力的性能水平,在适当考虑随机优化产生的不确定性和多重性后,往往获得明显较弱的诊断支持。

**三、主要技术方法**

研究采用多种统计方法评估DRL模型的可靠性。针对时间序列账户价值轨迹,采用基于B=10,000次自助重抽样的点态置信区间构建,以完整种子级轨迹为重抽样单元,保持轨迹内的时序依赖结构。假设检验根据比较结构选择:固定基准比较采用非参数符号翻转置换检验;不同训练预算比较采用种子匹配符号翻转检验,并辅以非配对双样本置换检验作为敏感性分析;算法间比较采用非配对双样本置换检验,并对十对算法比较应用Holm-Bonferroni校正。此外,研究采用缩水夏普比率(Deflated Sharpe Ratio, DSR)作为诊断工具,评估最佳种子选择引起的性能膨胀,DSR同时考虑多重检验和非正态收益分布。

**四、研究结果**

**实验1:集成股票交易**。研究人员复现了Yang等人(2020)的Dow 30集成交易策略,在10,000步和100,000步两种训练预算下各重复20次独立随机种子。结果显示,跨种子的年化夏普比率均值分别为0.604(标准差0.193)和0.512(标准差0.143),随机训练本身即产生经济意义上较大的夏普变异。选择最佳种子而非报告均值可使报告夏普比率膨胀44%。与基准DJIA(夏普比率0.654)相比,10,000步设置下无显著差异,而100,000步设置下显著跑输。种子匹配比较显示较短训练预算表现更好,表明延长训练不一定改善样本外性能。策略不稳定性的量化分析显示,时间平均投资组合权重对间的平均成对L1距离在10,000步后为0.9214,100,000步后仍高达0.7364,对应最小资本再配置比例约为46.1%和36.8%。

**实验2:DRL方法的比较性能与变异性**。研究评估了五种广泛使用的DRL算法(DDPG、A2C、PPO、TD3、SAC),采用基于检查点的模型选择协议。尽管PPO获得最高观测年化夏普比率(1.26),各算法在随机种子上均表现出显著变异性。在算法内最佳种子选择的DSR调整后,DSR值范围为0.86至0.95。所有十对算法比较经Holm-Bonferroni校正后均不具统计显著性,最小调整p值为0.085(A2C对DDPG)。这表明原始排行榜中看似经济上有意义的算法排名差异,在考虑优化诱导变异性和多重比较后往往失去统计支持。

**实验3:加密货币投资组合管理**。研究采用Jiang等人(2017)的EIIE架构,逐年评估2021至2024年的表现。跨种子年化收益均值(标准差)分别为:2021年232.94%(240.41%)、2022年-61.13%(16.16%)、2023年206.82%(89.48%)、2024年168.53%(152.22%)。DSR分析显示,2021年最大年化夏普比率2.43对应DSR为0.97,而2023年类似量级的2.38对应DSR仅为0.42,表明高波动性环境中同样大小的夏普比率可获得显著不同的诊断支持水平。

**五、讨论与结论**

研究结论强调,DRL交易系统的性能应被视为学习策略上的随机变量,而非数据的确定性函数。非凸随机优化产生可行决策规则的分布,实际回测仅是其中的一次抽样。在这种背景下,单次运行评估与模型的动态学习机制根本不一致。研究人员提出了五项评估原则:以重复独立训练的结果分布为评估焦点;结合适当统计检验评估相对基准的超额表现;透明化模型选择程序并配备多重性调整;将策略稳定性与基于收益的指标并行评估;综合稳健性和稳定性证据解释报告性能。

该研究将金融DRL研究的焦点从识别最佳历史回测转向评估生成投资决策的学习程序的可靠性,为金融DRL的严谨评估提供了规范性框架。研究明确声明其推断条件于固定历史数据集,聚焦于优化不确定性和选择不确定性,而采样不确定性留待未来工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号