SigMA:路径特征与多头注意力机制在基于分数布朗运动(fBm)的随机微分方程(SDEs)中用于参数学习

《Neurocomputing》:SigMA: Path signatures and multi-head attention for learning parameters in fBm-driven SDEs

【字体: 大 中 小 】 时间:2026年03月29日 来源:Neurocomputing 6.5

编辑推荐:

  本研究针对分数布朗运动驱动的随机微分方程参数估计难题,提出基于路径签名的多头自注意力架构SigMA。通过合成数据与真实金融及电池数据验证,SigMA在估计精度、鲁棒性和模型简洁性上显著优于CNN、LSTM、DeepSigNet和传统Transformer,证明结合路径签名与注意力机制能有效处理具有长期依赖和路径粗糙特性的系统参数推断。

  
吴向林 | 奇赫布·本·哈穆达 | 科内利斯·W·奥斯特利
中国成都西南财经大学数学学院,611130

摘要

由分数布朗运动(fBm)驱动的随机微分方程(SDEs)越来越多地被用来模拟具有粗糙动态和长程依赖性的系统,例如在量化金融和可靠性工程中出现的系统。然而,这些过程是非马尔可夫的,并且缺乏半鞅结构,使得许多经典的参数估计技术在非常特定的情况下不适用或计算上难以处理。本研究探讨了两个核心问题:(i)将路径特征整合到深度学习架构中是否可以改善估计精度和模型复杂性之间的权衡;(ii)什么样的架构能够有效地利用这些特征作为特征图。
我们引入了SigMA(Signature Multi-head Attention),这是一种神经架构,它将路径特征与多头自注意力结合在一起,并通过卷积预处理层和多层感知器进行有效的特征编码。SigMA从合成生成的fBm驱动的SDEs路径中学习模型参数,包括分数布朗运动、分数Ornstein–Uhlenbeck和粗糙Heston模型,特别关注于估计Hurst参数和联合多参数推断,并且能够稳健地泛化到未见过的轨迹。在合成数据和两个真实世界数据集(即股票指数实现波动率和锂离子电池退化)上的广泛实验表明,SigMA在准确性、鲁棒性和模型紧凑性方面始终优于CNN、LSTM、普通Transformer和Deep Signature基线模型。这些结果证明了将特征变换与基于注意力的架构相结合,为具有粗糙或持久时间结构的随机系统中的参数推断提供了一个有效且可扩展的框架。

引言

由分数布朗运动(fBm)驱动的随机微分方程(SDEs)出现在具有长程依赖性和路径粗糙性的领域中。这些应用包括量化金融中的粗糙波动率建模[1]以及工程系统(如锂离子电池)中的退化动态[2]、[3]。在fBm驱动的模型中,一个核心量是Hurst参数[span>,它控制着时间记忆、自相似性和样本路径的局部规则性。从观测到的时间序列中准确估计这个参数至关重要,但由于fBm驱动模型的非马尔可夫性质,这具有挑战性。此外,在许多应用中,必须联合估计多个参数,例如Hurst指数、波动率的波动性、相关性和/或粗糙波动率模型中的均值回归参数。这在定价和风险敏感性取决于这些参数组合的情况下尤其相关[4]、[5]。
对于[span>,fBm驱动的过程本质上是非马尔可夫的,并且不承认半鞅结构。因此,许多经典的参数估计技术在非常特定的情况下变得不适用或计算上难以处理。这些挑战促使人们开发出能够在广泛参数范围内稳健提取路径级特征的数据驱动架构。最近的机器学习技术,包括深度前馈神经网络(FNNs)[6]、卷积神经网络(CNNs)[7]和长短期记忆(LSTM)[3],已被提出来解决这些限制。然而,这些方法通常在不同路径范围内缺乏鲁棒性,或者没有利用长记忆路径的固有几何结构。
路径特征源于粗糙路径理论[8],提供了一种无坐标表示连续时间轨迹的原理性方法。特征已被证明是表示路径依赖函数的有效和通用方式,并已成功应用于分类、预测和医学时间序列[9]、[10]。最近的努力还将特征与变换器架构结合用于时间序列建模[11]。然而,现有方法通常侧重于预测或分类,而不是分数随机模型中的参数推断。
在这项工作中,我们探讨了fBm驱动过程背景下的两个主要问题:
  • •
    将路径特征整合到深度学习架构中是否可以改善估计精度和模型复杂性之间的权衡;
  • •
    什么样的架构能够有效地利用这些特征作为特征图。
  • 为此,我们提出了SigMA(Signature Multi-head Attention),这是一种神经架构,它将路径特征与多头自注意力结合在一起,并通过卷积预处理和多层感知器(MLP)层进行增强。与之前的方法(如Deep Signature Networks [9]、基于LSTM的估计器[3]或普通Transformer [12])不同,SigMA是专门为fBm驱动的SDEs中的参数估计设计的,适用于粗糙和长记忆两种情况。
    我们在合成数据和实证数据集上评估了SigMA。合成实验考虑了从fBm、分数Ornstein–Uhlenbeck(fOU)和粗糙Heston(rHeston)过程的模拟路径中估计参数。实证案例研究包括:
  • •
    从金融市场历史实现波动率中估计Hurst参数;
  • •
    量化锂离子电池退化数据中的长程依赖性。
  • 通过广泛的数值和统计评估,我们证明了SigMA在准确性、鲁棒性和模型紧凑性方面优于现有的基准模型——CNNs [7]、LSTMs [3]、深度特征模型[9]和普通Transformers [12]。我们的发现支持这样的观点:当将特征变换与基于注意力的架构结合时,可以为具有粗糙或持久时间行为的随机系统中的参数推断提供一种有效且可扩展的框架。
    本文的其余部分组织如下。第2节中,我们阐述了研究问题,并简要介绍了本文将使用的随机过程、路径特征工具和自注意力机制。第3节详细说明了SigMA的具体架构。第4节首先通过数值示例探索SigMA模型的最佳架构,然后通过丰富的示例验证其性能,并将其与几个知名的基准模型进行比较。最后,我们在第5节进行总结。

    小节片段

    问题设置和框架

    在本节中,我们为从fBm驱动的随机过程的观测样本路径中估计参数建立了框架。我们首先在第2.1节中形式化估计任务(学习问题)。随后,在第2.2节中介绍了相关的随机过程,并在第2.3节中回顾了该方法的核心组成部分:自注意力机制和路径特征变换。

    方法论

    在本节中,我们描述了SigMA模型的架构,如图1所示;这些设计选择背后的理由在第4.2节中进行了讨论。

    数值和实证实验

    在本节中,我们进行了实验来验证第3节中描述的架构的优势,并说明这些架构选择的原因。为此,我们将SigMA3与四种其他基于神经网络的模型进行了比较。第一个模型是由[7]提出的CNN。4 第二个模型是由[9]提出的基于特征的(DeepSigNet)模型。5

    结论

    在这项工作中,我们提出了SigMA(Signature Multi-head Attention),这是一种用于分数布朗运动驱动的随机微分方程中参数估计的神经架构。由于fBm驱动模型的非马尔可夫和非半鞅性质限制了经典推断技术的适用性,SigMA将路径特征表示与多头自注意力结合在一起,并辅以卷积预处理和多层感知器组件。

    代码和数据可用性

    本工作中使用的代码可在[GitHub链接]处公开获取。

    CRediT作者贡献声明

    吴向林:撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据整理。奇赫布·本·哈穆达:撰写——审阅与编辑、可视化、验证、监督、软件、项目管理、方法论、形式分析、数据整理、概念化。科内利斯·W·奥斯特利:撰写——审阅与编辑、监督、资源管理、项目管理、概念化。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
    吴向林于2019年在中国哈尔滨工程大学获得数学和应用数学学士学位。他目前是中国西南财经大学的博士生。他的研究兴趣包括数学金融、机器学习和期权定价。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号