基于逆强化学习与共形预测的飞行数据飞行员操作偏差量化研究

《Sensors》:Quantifying Pilot Operational Deviations Based on Flight Data via Inverse Reinforcement Learning and Conformal Prediction

【字体: 大 中 小 】 时间:2026年09月26日 来源:Sensors 4.0

编辑推荐:

  基于阈值(threshold-based)的飞行数据监控(Flight Data Monitoring, FDM)能够识别参数超限事件,但对标称运行边界内的渐进式操作偏差缺乏可见性。本研究提出一个三层框架,用于从快速存取记录器(Quick Access Rec

  
基于阈值(threshold-based)的飞行数据监控(Flight Data Monitoring, FDM)能够识别参数超限事件,但对标称运行边界内的渐进式操作偏差缺乏可见性。本研究提出一个三层框架,用于从快速存取记录器(Quick Access Recorder, QAR)数据中对操作偏差进行连续量化。受标准操作程序(Standard Operating Procedure, SOP)约束的高斯混合模型-隐马尔可夫模型(Gaussian Mixture Model–Hidden Markov Model, GMM-HMM)从飞行参数中推断出27个程序状态,使潜在状态表征与操作程序对齐。基于这些状态序列,最大熵逆强化学习(Inverse Reinforcement Learning, IRL)恢复专家价值函数,逐时间步估计执行质量。分割共形预测(Split Conformal Prediction)以无分布假设的覆盖率保证校准检测阈值,而反事实分析(Counterfactual Analysis)将识别出的偏差追溯至其程序来源。从真实飞行数据中学习得到的奖励函数赋予横向和速度稳定性比垂直稳定性高1.6倍的权重。在标称5%显著性水平下,分割共形校准产生的经验虚警率(False Alarm Rate)为4.2%。反事实分析识别出垂直速度管理是程序偏差的主要来源。上述结果支持所提框架作为候选的连续安全性能指标,能够揭示基于阈值超限监控无法标记的渐进式操作偏差。
基于飞行数据的飞行员操作偏差量化研究:背景、方法与意义
一、研究背景与问题
飞行数据监控(Flight Data Monitoring, FDM)是民航主动安全管理体系的核心组成部分,利用快速存取记录器(Quick Access Recorder, QAR)数据系统评估飞行员操作质量与飞机系统性能。这一需求在最后进近和着陆阶段尤为迫切——该阶段仅占飞行时长的4%,却贡献了48%的致命航空事故。国际民航组织(ICAO)安全管理体系(Safety Management System, SMS)相关文件及各国飞行运行质量保证咨询材料均强调稳定进近与飞行数据安全监控的重要性。
传统FDM通过基于阈值的超限检测评估安全性。这一范式虽能有效识别类别性安全违规,却无法量化完全发生在标称运行限制范围内的程序合规性细微变化。量化此类变化存在根本性困难:程序质量缺乏真值标签,且偏差分布于多个相互作用的参数之间。例如,以?700 ft/min保持稳定下降的飞行员与在?400至?1000 ft/min之间振荡的飞行员均不触发任何FDM告警,但两者的程序执行质量存在显著差异。在ICAO安全管理体系术语中,现行FDM超限计数在超限事件发生前对操作偏差的可见性有限。现有更高级的处理方式——趋势监控、前兆识别、风险加权事件分析——仍以事件为导向,因为它们刻画的是离散告警或前兆而非连续变化的程序执行质量度量。运行安全管理需要一种连续的前瞻性指标,在任一参数达到超限边界之前追踪程序执行质量的轨迹。
现有无监督深度学习方法虽已广泛应用于多维QAR时间序列异常检测,但多数方法将飞行监控视为异常分类任务,产生标量异常分数。这些分数仅表明"某事异常",却无法识别哪个程序要素发生偏差或应采取何种纠正措施——而这是连续安全性能指标(Safety Performance Indicator, SPI)所必需的能力。逆强化学习(Inverse Reinforcement Learning, IRL)可从专家示范中推断奖励函数,其优势在于学习到的奖励直接编码哪些动作被偏好及其偏好程度,以操作特征的线性组合表示。在安全关键航空领域,这种透明性对机组讲评和操作指导尤为宝贵。然而,IRL得分本身在任意阈值下均不提供虚警率的统计保证,限制了其用于告警决策的运行价值。共形预测(Conformal Prediction, CP)提供无分布假设的有限样本统计保证,无需对得分分布作任何假设即可保证虚警率控制。
二、研究内容与核心结论
针对上述问题,本研究提出一个三层框架,用于基于飞行数据的连续操作偏差量化。该框架将程序化状态推断、专家价值学习与统计校准整合为单一流水线。受标准操作程序(SOP)约束的高斯混合模型-隐马尔可夫模型(GMM-HMM)将飞行参数映射至27个程序定义的状态,使状态推断根植于操作程序。基于这些状态序列,最大熵逆强化学习(MaxEnt IRL)恢复透明的专家价值函数,其线性特征权重可供领域专家检查,逐时间步对执行质量打分。分割共形预测以无分布假设的虚警率保证校准这些分数,仅需一组留出的正常飞行;反事实分析则将识别出的偏差追溯至其程序来源。该框架以方法论上的一般性术语表述,不依赖特定机型、航线或飞行阶段,训练与校准均无需异常标签。评估数据覆盖空客A319和A330两个飞机家族,以及单一高原航线上的多个运营商。
研究得出以下核心结论:第一,SOP约束的GMM-HMM在27状态推断上达到91.2%加权F1分数,且SOP转换约束的主要价值在于结构性而非判别性——它保证每条推断状态序列均遵守单轴、单类别操作原则。第二,MaxEnt IRL学习到的奖励函数呈现结构化三级质量梯度,横向稳定性和速度稳定性权重各为垂直稳定性的1.6倍;跨专家定义复制实验表明该质量梯度在不同专家选择标准下保持一致。第三,分割共形校准在5%标称显著性水平下产生4.2%的经验虚警率,满足理论界。第四,反事实分析识别出垂直速度管理是程序偏差的主导来源,所有前5位反事实修正均涉及垂直维度。
三、关键技术方法
研究人员采用三项核心技术方法。第一,SOP约束的GMM-HMM:将9个飞行参数(指示空速、俯仰角、滚转角、发动机风扇转速N1、航向道偏差、下滑道偏差、垂直速度、纵向加速度、航向变化率)映射至27个程序状态,状态由垂直、横向、速度三个飞行控制轴的类别组合定义,转换矩阵受单轴单类别SOP约束。第二,最大熵逆强化学习:将SOP合规评估建模为马尔可夫决策过程(MDP),从专家飞行示范(按状态13占用比例排名前20%的541架次)中学习线性奖励函数,包含9个轴类别特征和1个标称状态指示特征。第三,分割共形预测与反事实分析:以HMM状态转换负对数似然(NLL)为非一致性分数,在532架校准飞行上建立经验分布,保证5%虚警率上界;反事实序列通过受SOP约束的贪心前向解码生成。数据来源为中国民航科学技术研究院飞行质量监控基地提供的3325架次拉萨至成都高原航线进近飞行数据,覆盖A319和A330两个机型家族及多个运营商。
四、研究结果
状态推断与IRL奖励学习。 GMM-HMM在665架次测试集上实现91.2%加权F1分数和90.0%准确率;5折交叉验证加权F1为0.885±0.015。状态13(稳定下降、航向保持、速度保持)占测试时间步的93.2%。逐维度分析显示横向合规率99.96%和速度合规率99.79%接近上限,而垂直合规率90.2%显著较低,表明垂直速度调整是进近阶段最频繁且最细微的控制输入。IRL学习到的奖励函数呈现三级质量梯度:标称层级(状态13,奖励+5.52)、近标称层级(单轴偏差状态,奖励+1.25至+1.91)、极端层级(多轴偏差状态,奖励?108.97至+0.23)。特征权重显示横向稳定性与速度稳定性各为垂直稳定性的1.6倍。手动定义奖励函数仅达AUROC 0.685,而IRL学习奖励达0.928。
合规评分。 IRL-Hybrid方法在合成偏差测试集上达到AUROC 0.941,优于手动定义MDP基线+0.243。在含合规差距的维度变化转换中,垂直偏差占86.4%,速度占9.7%,横向占0.7%,多轴占3.2%。与无学习统计基线相比,状态13占用率AUROC为0.926,状态熵为0.936,IRL-Hybrid为0.941——判别性能增益虽小,但IRL框架提供了状态级奖励函数、逐时间步合规差距和反事实引擎三项简单指标无法提供的能力。
组件分析与结构消融。 物理信息发射正则化在合成偏差AUROC上系统提升+0.0047,对状态F1影响可忽略(?0.0003)。分割共形校准在含该校准组件的所有配置中实现4.2–4.4%经验虚警率,在5%理论界内。将SOP约束转换矩阵替换为均匀先验使加权F1从0.912降至0.852(下降6.6%);数据估计的无约束变体虽达相同F1但允许119个SOP无效转换。移除标称特征后奖励排序完全保持(Kendall τ=1.0),表明学习到的结构是多维质量评估而非单状态分类器。
反事实解释与案例说明。 反事实引擎在测试飞行中平均识别每架次8.6个偏差时间步(占进近时间步的6.4%),平均逐步偏差成本0.0094。所有前5位反事实修正均涉及垂直维度:S04→S13(47.0%)、S22→S04(30.9%)、S22→S13(16.4%)、S04→S22(1.4%)、S14→S13(1.4%)。代表性案例中,131秒进近内飞行员状态序列在110个时间步(84.0%)匹配最优路径,偏差集中于两个簇:早期通过状态4的快速下沉偏移和后期在状态12、14、22间的交替访问。
比较评估、稳定性与敏感性分析。 框架在飞行级F1达0.893,优于Isolation Forest、PCA重构误差和LSTM自动编码器等基线方法。LSTM-AE达竞争性飞行级F1 0.886,但仅输出标量重构误差而无程序要素解释。跨专家定义复制实验中,物理平滑度标准与状态13占用率仅6.2%专家重叠,但学习到的奖励函数与原奖励Kendall τ=0.91,表明质量梯度在不同专家定义下保持一致。框架在10%训练数据下状态推断F1达0.885(全数据性能的97%),展示数据效率。高斯噪声注入下F1退化低于0.012,验证鲁棒性。超参数敏感性分析表明学习率是唯一需要非平凡选择的参数,奖励排序在15个随机种子间均保持状态13为最优状态。
五、讨论与结论
讨论部分指出,SOP约束的主要价值在于结构性保证而非判别性提升;IRL框架的判别增益虽小,但其核心贡献在于提供可解释的奖励函数、逐时间步合规差距和反事实诊断能力,这些是纯判别方法无法提供的。物理平滑度专家与SOP一致性专家仅6.2%重叠却产生高度相关的奖励函数,表明好的SOP实践产生物理平滑的飞行,程序最优与物理最优一致。研究局限性包括:反事实分析的操作效用仍需通过飞行员参与评估验证;合成偏差作为真实异常代理的有效性有待真实异常事件验证;单一高原航线环境限制了跨场景迁移性声明。
研究结论为:所提出的三层框架——SOP约束状态推断、MaxEnt IRL专家价值学习、分割共形统计校准——能够从QAR数据中连续量化飞行员操作偏差,在无异常标签条件下揭示阈值超限监控无法标记的渐进式操作偏差。学习到的奖励函数提供可解释、可审计的状态级质量评分,分割共形校准以无分布假设的有限样本保证控制虚警率,反事实分析将识别出的偏差追溯至其程序来源。该框架可作为候选的连续安全性能指标,支持飞行机组讲评和操作指导。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号