一种基于深度强化学习、融合RNN增强与多样化课程驱动学习算法的POMDPs有限经验下求解方法(An RNN-Enhanced Diverse Curriculum-Driven Learning Algorithm Based on Deep Reinforcement Learning for POMDPs with Limited Experience)
《Drones》:An RNN-Enhanced Diverse Curriculum-Driven Learning Algorithm Based on Deep Reinforcement Learning for POMDPs with Limited Experience
Ke Li,
Kun Zhang,
Ziqi Wei,
Haiyin Piao,
Binlin Yuan,
Boxuan Wang and
Jiangbo Cheng
编辑推荐:
:
本研究假设区域运行的无人机系统(Unmanned Aircraft Systems, UAS)需频繁在无塔台机场(non-towered airport)运行,而此类环境下因分离原则有限及有人机飞行意图部分可观测,常规集成仍具挑战性。本文研究了无塔台机场环
:
本研究假设区域运行的无人机系统(Unmanned Aircraft Systems, UAS)需频繁在无塔台机场(non-towered airport)运行,而此类环境下因分离原则有限及有人机飞行意图部分可观测,常规集成仍具挑战性。本文研究了无塔台机场环境下将无人机融入有人驾驶航空器交通的战术程序——无人机须在程序约束下与有人驾驶交通互动。研究人员开发了一种仿真框架,结合历史交通数据、标准交通航线(Traffic Pattern, TP)程序及基于规则的决策机制来实现无塔台机场的无人机集成。仿真逻辑包括有人驾驶交通活动检测、基于规则的排队及空域容量约束。通过变化冲突检测的预见时间(look-ahead time, 60/120/180 s)与无人机交通率(每15/30 min一架),仿真量化了终端空域可达性,并推导出表征吞吐量的指标(无冲突与经脱冲突等待飞行的对比)、延误传播(等待分钟数与等待圈数)、概念可行性(中止/拒绝等待)及高度层利用情况。结果表明:较长预见时间持续引发安全与吞吐量间的权衡——增加等待需求但降低中止等待比例;较高交通量则放大等待需求与延误;等待操作主要在最低可用等待高度(距地面2500 ft,即2500 ft Above Ground Level, AGL)进行,偶因交通高峰使用多层高度带。
论文解读:
《Drones》期刊发表的这篇论文由Ke Li、Kun Zhang、Ziqi Wei、Haiyin Piao、Binlin Yuan、Boxuan Wang及Jiangbo Cheng撰写,研究背景是城市空中交通(Urban Air Mobility, UAM)与区域空中机动性(Regional Air Mobility, RAM)发展背景下,无人 cargo机(Regional Cargo UAS)拟利用既有基础设施接入非控制终端空域(即无塔台机场,non-towered airport,Class G/E/D周边),但此类机场无空中交通管制(Air Traffic Control, ATC)提供间隔与排序服务,有人驾驶目视飞行规则(Visual Flight Rules, VFR)交通遵循"看见并避让(see and avoid)"原则且飞行意图高度不确定,现有探测与避碰(Detect and Avoid, DAA)系统与U-space尚未成熟,无人机超视距(Beyond Visual Line Of Sight, BVLOS)运行无法依赖遥控飞行员(Remote Pilot, RP)实施目视避让,安全与效率难以兼顾——保守假设确保间隔却降低空域可达性与经济性,激进策略则提升冲突概率。因此,研究人员提出一种基于历史有人机航迹数据验证的无塔台机场无人机进近交通航线(Traffic Pattern, TP)集成方案——无人机等待栈(UAS Holding Stack)概念,并建立快时仿真(fast-time simulation)框架评估该战术脱冲突程序在无控制终端空域中的安全性与效率表现,量化不同机场、不同交通密度与不同冲突检测预见时间下的无人机终端空域可达性、等待层可用性、吞吐量及冲突概率,明确安全—吞吐量权衡关系,论证按机场个别评估运行方案之必要性,对后续UAS终端区集成程序设计与法规制定有重要参考价值。
主要关键技术方法:
研究人员选取德国两座无塔台机场——北海岛屿尤伊斯特岛Juist (EDWJ)与德国最繁忙无塔台机场埃格尔斯巴赫Egelsbach (EDFE),提取Flightradar24历史ADS-B/FLARM/MLAT有人机三维航迹数据,界定终端空域边界框(约10×20 km RMZ尺寸)及无人机TP集成区域(涵盖选定TP并延伸至推荐TP高度Above Ground Level, TPA+1000 ft AGL)。设计无人机四种轨迹段:直入-overhead join进近(DIR)、进入等待(EHLD)、圆形等待轨道(HLD, 每圈12航点)、从等待重新加入TP(REJ),采用先入先出(First-In/First-Out, FIFO)排序逻辑。设定水平脱离距离(Horizontal Miss Distance, HMD)=2000 ft、垂直脱离距离(Vertical Miss Distance, VMD)=500 ft,等待层垂直步长Δvertical=500 ft,最低等待高度holdmin=2500 ft AGL,最高holdmax=5500 ft AGL。冲突检测每5 s更新一次,预见时间tlook-ahead∈{60, 120, 180} s。无人机到达间隔ΔtUAS∈{15, 30} min,运营时段08:00–18:00本地时。区分"未分配(not assigned)"(单UAS只考虑与有人机冲突)与"分配中(assigned)"(多UAS互避且需分配不同等待层)两种情形,按算法逻辑判定直接进近、触发等待、选可用等待层、自等待层重新加入TP,记录无等待直进比、等待航班比、中止(abort)/拒绝(deny)等待比、平均等待圈数、平均/中位等待高度等。
研究结果:
4.1 Analysis of Temporal Traffic Distribution in the UAS TP Integration Area(无人机TP集成区域内有人驾驶交通时间分布分析)
按年/日/小时统计两机场TP集成区内有人机架次与时空占用率,发现Juist (EDWJ)日均TP区内有人机中位数3.0架次、均值≈5.6架次,日内每小时中位0架、均值0.61架,周一春季上午占用率峰值约18%;Egelsbach (EDFE)日均中位数14.0架次、均值≈15.9架次,周四下午占用率峰值达70.2%。表明不同时段存在显著低峰窗口适合UAS集成,高峰时段冲突概率与等待时长上升。
4.2 Analysis of Spatial Traffic Distribution in the UAS TP Integration Area(无人机TP集成区域内有人驾驶交通空间分布分析)
散点图与柱状图显示两机场大多数有人机在500–750 ft AGL进入TP,Juist有直升机在1500–3000 ft AGL穿越,Egelsbach有重型机在更高高度层IFR飞行。1500–2500 ft AGL于Egelsbach相对空闲,可作潜在UAS接近走廊;密集高度带降低UAS可达性。不同机型速度与圆航线差异影响意图可预测性与冲突风险。
4.3 Analysis of Fast-Time Simulation Results for Procedural UAS TP Area Integration(基于程序的无人机TP区域集成的快时仿真结果分析)
Juist仿真显示"未分配"条件下92–95% UAS可直进TP,需等待者占5–8%、随tlook-ahead增大略升,等待中止率随tlook-ahead增大自~17%降至~12%,无等待拒绝;等待集中于最低层2500 ft AGL(92–99%),平均等待圈数1.7–2.2。"分配中"条件等待占比微升至8.1–9.3%、中位等待圈数升至2.0,拒绝仍近零。Egelsbach "未分配"条件下34–40%航班需等待,平均等待圈数6.6–7.5、中位3.0;tlook-ahead增大同样降低中止率。"分配中"且ΔtUAS=15 min时等待拒绝率达14–17%(ΔtUAS=30 min时降至4–5%),说明高UAS流量下等待层容量受限;等待高度分布于多层(最低层仅占51–69%),加权均值等待高度高于holdmin。延长tlook-ahead一致增加等待需求与总等待分钟数但减少中止等待——体现典型安全—吞吐量权衡;高UAS流量放大此效应。Juist等待多为单层最低高度偶尔扩散,Egelsbach呈多层分配特征且等待成主导流控手段。
讨论与结论翻译:
无塔台机场(ATC不可用、非合作VFR交通存在)的无人机集成仍是最具挑战的课题之一。初始商业 cargo UAS 运行须不降低有人机安全、公平性与容量,但扩大预检测间隔以减少交互倾向降低运行效率——保守脱冲突可减少冲突风险却增加延误、降低吞吐与空域普遍可达性。本研究评估历史时空有人机分布,开发快时仿真框架评价无人机经标准TP overhead join与等待脱冲突接近无塔台机场TP的战术程序,含有人机活动预见检测、UAS FIFO排队、最小间隔原则与空域容量约束,导出吞吐量(等待航班占比)、延误传播(等待分钟数与圈数)、公平性(FIFO)、概念可行性(中止/拒绝等待)及垂直高度带利用等指标。所有场景中均存在安全—吞吐量权衡:增大冲突检测预见时间(60→120→180 s)一般提高需等待模拟航班占比与累计等待分钟数(更频/更早触发预防性等待),但同时降低中止等待占比(早脱冲突决策令等待执行更稳定);调高UAS交通率(每15 min vs 30 min)抬高等待需求与延误传播。两所德国无塔台机场对比表明不存在"一刀切(one size fits all)"方案——Juist (EDWJ)等待需求低且多成功完成于最低等待高度(2500 ft AGL),等待可作为低复杂度战术冲突管理手段;Egelsbach (EDFE)等待发生率显著更高、高度带利用分散且拒绝等待占比可观,仅靠等待脱冲突在该场站扩展性有限,需识别低密度时间窗规划UAS进入。终端空域可达性与运行可行性强烈依赖机场特定TP布局、集成程序与安全阈值设定。研究假定机载DAA认证可用、有人机轨迹与近期意图完全已知(理想感知),未来工作应纳入意图不确定性、有人—无人机协商、概率风险度量、非正常运行(LC2L)、气象风场及更广机场类型验证。