《Intelligent Systems with Applications》:Deep Liquid Neural Network for Prediction of Weather-Impacted Flight Delay
编辑推荐:
在本文中,研究人员开发并分析了一个用于预测航班延误的模型,重点关注由天气条件引起的延误。航班延误对航空公司构成重大问题,因为空中交通的增长往往导致财务损失和旅客不便。与以往的若干研究不同,本研究提供了对延误的更详细分析,区分了天气相关延误和非天气相关延误。研究
在本文中,研究人员开发并分析了一个用于预测航班延误的模型,重点关注由天气条件引起的延误。航班延误对航空公司构成重大问题,因为空中交通的增长往往导致财务损失和旅客不便。与以往的若干研究不同,本研究提供了对延误的更详细分析,区分了天气相关延误和非天气相关延误。研究人员使用了深度学习(DL)模型,包括所提出的液体神经网络(LNN)、长短期记忆网络(LSTM)和多层感知器(MLP)来进行预测。研究人员将此前未用于航班延误预测的LNN模型与其他两个DL模型进行了比较。本研究使用了两个可靠的数据集:来自美国运输统计局(BTS)的航班数据和来自Weather Underground网站的天气数据。研究人员的方法论在处理数据遇到的挑战方面较为全面。其中一个主要挑战是管理类别不平衡(class imbalance),该问题可能影响预测精度,研究人员采用合成少数类过采样技术(SMOTE)算法加以应对。用于训练和评估的特征选择基于互信息分数(mutual information scores)和皮尔逊相关系数(Pearson correlation coefficients)。超参数优化通过网格搜索(grid search)和试错法(trial-and-error)系统地进行。模型使用标准性能指标进行评估,包括精确率(precision)、召回率(recall)、F1分数(F1-score)、准确率(accuracy)和混淆矩阵(confusion matrix)。结果表明,LNN模型在预测航班延误方面优于其他DL模型,尤其是在与延误发生相关的两个类别上。总体而言,三个模型在预测准点航班方面均产生了优秀的结果,并在预测非天气因素导致的延误时取得了可接受的结果。然而,LNN模型在预测天气相关延误时表现出计算局限性,该类别得分显著较低,且训练时长显著更长。尽管存在这些局限,LNN模型相比以往模型展现了有前景的性能,甚至在某些指标上超越了它们。这些发现表明LNN模型在未来航班延误预测方面具有巨大潜力。
**论文解读:深度液体神经网络用于预测受天气影响的航班延误**
**研究背景、问题与意义**
航班延误是航空业长期面临的重大挑战,随着全球航空运输量持续增长(根据国际民航组织数据,2000年至2019年客运量从16.7亿增至45亿人次),延误导致的经济损失日益严重。据AirHelp报告,2022年美国因航班延误产生的年成本估计在260亿至320亿美元之间,欧洲则在200亿至250亿美元之间。延误不仅造成航空公司额外燃油、员工薪酬和旅客赔偿等直接开销,还引发旅客错过转机、行程变更等不便,进而影响客户满意度。现有研究多将延误笼统分类,较少细致区分天气相关与非天气相关延误。然而,天气延误虽然占比相对较小(2023年BTS数据显示仅约1.5%的航班因天气延误),却因其不可预测性和潜在严重性而尤为关键——极端天气可能影响单个航班乃至整个空中交通系统。同时,航空数据存在严重的类别不平衡问题:约78%的航班准点,仅20%左右延误,延误样本中天气因素更属少数类,这导致预测模型容易偏向多数类,难以准确识别延误模式。以往研究虽采用机器学习(ML)或深度学习(DL)方法,但多面临模型泛化能力不足、对天气数据利用不充分以及不平衡数据处理手段有限等局限。为应对这些挑战,该研究引入了一种全新DL模型——液体神经网络(LNN),该模型此前尚未应用于航班延误预测领域,旨在通过更细致的类别划分(准点、非天气延误、天气延误)和先进的平衡技术提升预测性能。该论文发表在《Intelligent Systems with Applications》。
**研究方法概述**
研究人员提出了一套系统的DL预测框架。首先,从美国运输统计局(BTS)获取2010-2023年(排除受COVID-19严重影响的2019-2020年)纽约肯尼迪国际机场(JFK)的航班数据,并从Weather Underground网站通过爬虫技术获取对应时段的天气数据(包括温度、露点、湿度、风速、阵风、气压、降水量和天气状况),并收集起飞前0、2、4、8、16、24、48小时等多个时间间隔的天气数据。数据预处理步骤包括:处理缺失值(删除无关列如“DIVERTED”“CANCELLED”“CANCELLATION CODE”,合理填充逻辑相关的缺失值,删除极小比例含缺失的行),对分类变量使用标签编码(label encoding),对数值变量应用最小-最大缩放(Min-Max Scaling)进行归一化,并创建三分类目标变量(准点0、非天气延误1、天气延误2)。为应对类别不平衡,仅对训练数据采用合成少数类过采样技术(SMOTE)。特征选择结合互信息分数(阈值0.15)和皮尔逊相关系数(删除相关系数>0.8的冗余对),最终保留14个关键特征(如计划起飞时间、滑出时间、起飞轮档时间、温度、湿度、风向、风速、气压、天气状况等)。研究人员构建并对比了三种DL模型:液体神经网络(LNN)、长短期记忆网络(LSTM)和多层感知器(MLP)。LNN采用基于常微分方程(ODE)的液体层,使用Tanh激活函数和dopri5求解器;LSTM使用多个堆叠LSTM层;MLP包含全连接隐藏层,使用Leaky ReLU激活和Dropout正则化。所有模型均使用交叉熵损失函数和Adam优化器。超参数优化方面,LSTM和MLP采用网格搜索,LNN因训练耗时过长采用手动试错。模型评估指标包括精确率、召回率、F1分数、准确率和混淆矩阵,并监测训练/验证损失曲线以防止过拟合。实验在克兰菲尔德大学HPC集群Crescent 2上进行,使用Nvidia T4 16GB GPU和8 CPU。
**研究结果**
**4.1 探索性数据分析**
研究人员通过EDA揭示:大多数航班准点,天气延误样本极少;天气延误与温度无显著线性关联,与风速虽有关联但非决定性因素;通过计算“天气分数”(综合温度、露点、湿度、风速、阵风、气压、降水量和天气状况,参考Schultz等人ATMAP算法),发现大多数天气延误对应的天气分数在0.4-0.6之间,说明中等天气条件而非极端天气是主要致因。
**4.2 性能与模型分析**
**4.2.1 液体神经网络**
研究人员手动测试了20种超参数组合。结果发现:350个隐藏节点的配置整体最优;批量大小1024表现最佳;学习率0.0001比0.001更稳定;50个训练周期优于20个;Dropout率0.5有效提升泛化能力。天气数据采集时机越接近起飞(0小时)性能越好。最终选定配置:隐藏节点350,周期50,批量1024,学习率0.0001,Dropout率0.5,天气数据起飞前0小时。该配置下,类别0(准点)的精确率0.96、召回率0.92、F1 0.94;类别1(非天气延误)分别为0.71、0.70、0.71;类别2(天气延误)分别为0.18、0.67、0.29;全局准确率86.82%。混淆矩阵显示正确预测准点178687、非天气延误37735、天气延误2116。训练损失持续下降,验证损失总体下降但有波动,无过拟合迹象。
**4.2.2 长短期记忆网络**
网格搜索测试了学习率(0.001/0.0001)、周期(20/50)、层数(2/5/10)、隐藏节点(50/100/150)。结果表明:学习率0.001略优;50周期占优;5层或10层不一定优于2层,复杂度非越高越好;150隐藏节点通常最佳;起飞前0小时数据性能最优,但2小时数据偶尔更佳。最终选择配置:学习率0.001、周期50、层数5、隐藏节点150、天气数据起飞前0小时、批量1024、Dropout率0.5。该模型类别0精确率0.96、召回率0.92、F1 0.94;类别1分别为0.71、0.66、0.68;类别2分别为0.16、0.74、0.26;全局准确率86.14%。混淆矩阵显示准点正确预测179350,非天气延误35131,天气延误2336。训练损失稳步下降,验证损失略降但波动明显。
**4.2.3 多层感知器**
网格搜索参数包括学习率、周期(10/20/30/50)、批量大小(512/1024)、隐藏节点结构([128,64,32]/[256,128,64]/[512,256,128]),固定3层和Dropout率0.5。结果:学习率0.001较优;50周期最佳;批量512略优于1024;复杂结构[512,256,128]在近期数据下更好。最终选配置:学习率0.001、周期50、层数3、隐藏节点[512,256,128]、天气数据起飞前0小时、批量1024、Dropout率0.5。该模型类别0精确率0.96、召回率0.92、F1 0.94;类别1分别为0.71、0.67、0.69;类别2分别为0.17、0.74、0.27;全局准确率86.31%。混淆矩阵显示准点正确预测178853,非天气延误36046,天气延误2336。训练损失下降后趋平,验证损失波动较大,暗示轻微过拟合。
**4.2.4 模型比较分析**
三模型在类别0上表现完全相同;LNN在类别1上F1最高(0.71),在类别2上F1(0.29)虽略高于MLP(0.27)和LSTM(0.26),但其召回率(0.67)低于二者(0.74)。LNN训练时长(21093秒)远高于LSTM(2854秒)和MLP(1015秒),测试时长(29.5秒)也最长,但可通过保存预训练模型缓解。综合考虑预测精度(尤其对类别2的F1)和实用性,研究人员选择LNN为最优模型。与2024年Kim & Park研究中JFK机场的LSTM和随机森林(RF)模型对比,LNN全局准确率86.82%优于LSTM的85.2%和RF的84.3%;在准点预测上LNN显著更优(F1 0.94 vs 0.86);当合并LNN的类别1和2后其延误预测F1为0.80,略低于LSTM(0.85)和RF(0.84),但LNN提供了更细化的分类能力。
**讨论与结论**
研究结论指出:该论文通过实现和评估DL模型(重点是LNN)成功预测了受天气影响的航班延误,并首次将LNN应用于该领域。详细的延误区分(天气与非天气)提供了更深层次的洞察。结果表明LNN在总体准确率和准点航班预测上优于LSTM和MLP,且在与现有文献对比时展现出优越性。使用起飞前近似时刻的天气数据可提高预测精度。但LNN在预测天气延误类别时仍存在困难(得分显著较低),且计算资源需求极高导致训练耗时。总体而言,LNN为航班延误预测奠定了坚实基础,开辟了提升预测精度和优化航班运营的新途径。未来工作方向包括:进一步优化超参数(如测试更多LNN配置、加入SMOTE不平衡比率参数、减少资源需求以便采用网格搜索);收集航班航线上的天气数据以改善天气延误预测;使用其他机场数据评估模型泛化能力;将取消航班视为无限期延误加入预测(需添加第二输出层);以及分析其他因素(如操作技术问题)导致的延误以完善模型工具。