加密货币永续期货自动化做市中的强化学习:融合资金费率动态与历史BTCUSDT证据

《The Journal of Finance and Data Science》:Reinforcement learning for automated market making in cryptocurrency perpetual futures: Integrating funding rate dynamics with historical BTCUSDT evidence

【字体: 大 中 小 】 时间:2026年08月27日 来源:The Journal of Finance and Data Science 3.7

编辑推荐:

  加密货币永续期货的出现为自动化做市创造了独特机会,然而现有方法常忽略每8小时在多空持仓者之间转移支付的资金费率机制。研究人员开发了一个强化学习框架,联合优化做市价差决策与资金费率捕获,将问题建模为马尔可夫决策过程(Markov Decision Process

  
加密货币永续期货的出现为自动化做市创造了独特机会,然而现有方法常忽略每8小时在多空持仓者之间转移支付的资金费率机制。研究人员开发了一个强化学习框架,联合优化做市价差决策与资金费率捕获,将问题建模为马尔可夫决策过程(Markov Decision Process,MDP),其状态特征针对永续期货定制,包括资金费率、库存、实现波动率与订单流不平衡代理变量。该状态设计是一项基础方法论贡献,因为它将加密原生合约机制直接嵌入智能体的信息集,而非将资金费率视为外生叠加。实证评估使用币安期货BTCUSDT永续合约公开数据,包含2022年12月31日至2026年5月18日的29606条 hourly 观测与3701条资金费率记录。在以保守夏普定义下,最佳强化学习策略在替换合成概念验证为历史数据后仅边际为正。然而,一种以性能优先的自适应做市变体,结合波动率过滤、费用感知报价与基于动量的库存定向,在最终历史持有期上实现年化收益24.63%、夏普比率1.49、零无风险夏普比率1.87、最大回撤6.39%。这些发现表明所提状态表示有助于研究永续期货控制,但盈利性关键取决于显式费用、机制与库存过滤。论文因此贡献了一个可复现的真实数据基准,并指明了强化学习做市进入生产前所需的风控、执行假设、延迟约束与多场所扩展。
研究背景方面,加密货币衍生品市场过去十年快速增长,永续期货已在币安、Bybit、dYdX、Hyperliquid等交易所主导成交量。与传统期货不同,永续合约无到期日,依靠资金费率机制锚定现货价格,每8小时多空双方按永续与现货偏离方向互付,压力期年化影响可超持仓价值百分之十。做市作为连续双边报价提供流动性,在碎片化、高波动、7×24交易的新兴市场中具关键功能,但经典库存模型如Avellaneda-Stoikov(2008)在几何布朗运动与泊松到达假设下导出封闭解,无法纳入资金费率,亦难适应加密市场机制切换与结构断裂。忽略资金费率会使做市商被动支付结算而侵蚀价差收益;反之策略性捕捉正资金费率并对冲方向敞口构成带自然风控的alpha源。强化学习(Reinforcement Learning,RL)以策略直接从环境交互中学习,规避解析建模障碍,PPO与SAC等actor-critic方法已在连续控制中验证。本文即在此交叉缺口中,用MDP把做市与资金费率联合优化,并以真实BTCUSDT小时数据替代合成数据做可复现基准。
关键技术方法上,研究人员采用2022年12月31日至2026年5月18日币安期货BTCUSDT永续公开数据,29606条小时OHLCV与3701条8小时间隔资金费率,按时间切分60%训练、20%验证、20%持有。MDP状态含六维:归一化中间价、价差代理、归一化库存、下一结算资金费率ft、订单流不平衡代理ψt、实现波动率?t;动作为连续三维——价差宽度αt∈[0,1]映射0.01%–1%、库存目标βt∈[?1,1]、资金仓位强度ηt∈[0,1]。奖励函数rt=PnLt?λq|qt|St?TCt+FRt,另加λs=0.1的滚动夏普整形项;λq=0.001。算法用PPO(学习率3×10?4、batch64、GAE λ=0.95、clip ?=0.2)与SAC(batch256、自动熵调、buffer10万),各训2万步,MLP隐藏层64或256。基线含固定价差0.1%/0.2%/0.5%、Avellaneda-Stoikov(γ=0.1/0.5)、纯资金套利阈值0.005%/0.010%,账户10万美金、maker/taker费0.01%/0.02%、最大库存1 BTC、单笔0.1 BTC。
研究结果部分,6.1整体性能比较显示,在最终历史持有期,优化自适应做市年化24.63%、夏普1.49、索提诺2.01、最大回撤6.39%、胜率0.50、利润因子1.06;独立PPO年化1.60%但夏普?0.16;SAC年化?6.92%;A-S两档γ均年化?28.65%、夏普?2.63;固定0.5%价差年化?20.55%;资金套利0.005%年化?2.31%且夏普极负,0.010%无交易。结论:历史小时数据下未过滤RL仍脆弱,A-S假设错配,PPO资本保全优于经典基线,优化自适应靠机制过滤与动量库存定向胜出。6.2混合策略诊断与组件消融指出,Hybrid PPO年化?1.04%、夏普?0.27,Hy频SAC年化?38.31%;混合动作空间未统一超越单目标,因奖励多时间尺度混合、共享策略梯度被库存PnL主导、小时数据缺排队与延迟择劣。显式机制过滤比单共享RL加资金控制更有效。6.3累计业绩分析由权益曲线表明,多数未过滤策略在样本内亏损,优化自适应靠选择性参与、波动过滤与受控方向库存改善路径。6.4回撤分析给出优化自适应最大回撤6.39%,低于PPO15.62%与Hybrid PPO18.44%,A-S为20.60%,0.2%固定价差39.91%;低阈资金套利回撤1.55%但伴负收益与极负夏普,证明低回撤不等于风控优。6.5风险收益效率由散点显示仅优化自适应位于正夏普区,RL框架价值不在原始神经策略直出利润,而在结构化测试资金、库存、价差、过滤互动。6.6综合热力图确认无策略全维度占优,优化自适应在收益/夏普/索提诺/利润因子最强,固定0.5%仍可与部分学习策略比,警示基线调参不足会高估RL增益。
讨论部分总结,实务含义是RL做市须与显式费用、波动、库存护栏捆绑,资金捕获在历史BTCUSDT样本非自动alpha,混合架构需分层(慢速分配+快速执行)或多目标;基建上训练离线、推理需编译/锁核/FPGA并嵌预交易风控与回退报价,单场所设计忽略跨链跨所基差与资金离散;风控需连续监库存漂移、周转、费耗、资金敞口,设回撤停与资本上限。结论部分翻译:本文开发并评估了加密货币永续期货自动化做市的RL框架,将资金费率动态纳入常被忽略的现有一类方法。四项贡献为——(1)建MDP并把资金费率与订单流不平衡显式入状态;(2)用PPO与SAC学自适应价差/库存/资金策略;(3)以2023年1月至2026年5月币安BTCUSDT小时价与资金费率替合成证成可复现公开基准;(4)报告性能优先自适应变体在计费后最终持有期获正风险调整收益。历史结果改写框架诠释:独立PPO边际正(年化1.60%、夏普?0.16、回撤15.62%),优化自适应年化24.63%、夏普1.49、零无险夏普1.87、回撤6.39%;资金基线非自动盈利;合成模拟外部效度担忧被真实样本回应,但生产宣称前需更强执行现实性。局限含小时级非tick排队、代理微观结构、单所以及未含暴雷/停机/结算小时压力测试。论文发表于《The Journal of Finance and Data Science》。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号