交通流预测是智能交通系统的重要基础,它为智慧城市中的动态道路网络管理和调度提供了支撑。借助路边传感器获取的大规模交通数据,精确的流量预测对于制定调度策略、减少行驶时间/能耗以及引导公众出行具有重要意义Huang, Ling, Yang, Zhang, & Yang (2023a)。近年来,得益于深度学习技术的发展,交通流预测的时空建模取得了显著进展,这些技术为多种高效的预测方法提供了可能Huang, Ye, Ding, Yang, & Xiong (2022); Huang, Ye, Yang, & Xiong (2023b)。然而,传统方法面临两大挑战:一是交通数据中复杂的非线性时间依赖关系,二是道路网络结构的非欧几里得特性。为解决这些问题,循环型架构(如LSTM Zhao, Chen, Wu, Chen, & Liu (2017),GRU Zhang & Kabuka (2018))通过门控记忆单元出色地模拟了时间依赖关系。在空间建模方面,GCNs Kipf & Welling (2016)克服了CNN的网格限制,而STGCN Yu, Yin, & Zhu (2017)则通过图卷积实现了时空联合学习。GATs Wu, Chen, & Wan (2018)通过学习自适应节点依赖关系提升了动态相关性建模能力,GWN Wu, Pan, Long, Jiang, & Zhang (2019)则通过基于节点嵌入的自适应邻接矩阵揭示了隐藏的时空依赖关系。最近出现的创新方法,如PDFormer Jiang, Han, Zhao, & Wang (2023)(通过空间自注意力机制和延迟感知模块)以及STIDGCN Liu & Zhang (2024)(通过全局-局部依赖挖掘),进一步提升了预测精度。
大多数主流的交通流预测模型依赖于集中式训练,这需要在不同机构之间汇总或共享数据。然而,交通数据通常由不同的实体收集(如市政部门、交通机构及私营企业),且其中包含敏感的位置/轨迹信息,因此在跨区域协作时,原始数据的共享会带来重大的隐私风险。为解决这一问题,联邦学习Li, Sahu, Talwalkar, & Smith (2020); Yang, Liu, Chen, & Tong (2019)作为一种保护隐私的分布式学习方法,允许在各个节点(客户端)上使用私有的时空数据进行本地模型训练,只有加密后的参数会被传输到服务器进行全局优化。Liu等人Liu, James, Kang, Niyato, & Zhang (2020)的早期工作初步证明了联邦学习在保持时间特征建模的同时能够保护数据隐私。随着图神经网络在交通建模中的日益应用,联邦学习与图神经网络的混合模型成为了研究热点:Meng等人Meng, Rambhatla, & Liu (2021)提出了CNFGNN用于协同图卷积训练;Zhang等人Zhang, Zhang, James, & Yu (2021)引入了具有拓扑保持机制的FASTGNN,以减少隐私泄露;Qi等人Qi, Chen, Li, Li, & Wang (2023)开发了FedAGCN,将异步图卷积与联邦学习相结合以实现时间适应性;Yuan等人Yuan et al. (2022)设计了FedSTN,以增强边缘计算中的多源异构数据处理能力。
尽管取得了这些进展,联邦学习在交通应用中仍存在一些关键局限。首先,现有的道路网络划分方法Xia, Jin, & Chen (2022); Zhang et al. (2021)采用等大小的子图划分方式,忽视了不同区域在拓扑结构和密度上的差异,因此无法准确反映现实世界的交通状况。其次,在联邦聚合过程中,数据噪声和错误(如设备老化或故障导致)可能会被无意地纳入全局模型,从而影响模型的整体完整性和预测精度。第三,交通模式的明显时空异质性(如不同地区的通勤高峰和基准流量变化差异)会导致客户端数据分布不一致,进而引发客户端漂移(如图1所示)。在时空异质性强的交通系统中,非独立同分布的客户端数据常常会违反FedAvg的独立同分布假设,从而导致局部模型出现偏差,进而影响全局收敛和泛化能力。为解决这一问题,人们提出了一些改进方法:Ditto Li, Hu, Beirami, & Smith (2021)和pFedMe Canh, Tran, & Nguyen (2020)通过正则化/近似项来限制局部与全局之间的差异;FedAMP Huang et al. (2021)利用注意力机制和加权聚合来降低异构数据的影响;FedPer Arivazhagan, Aggarwal, Singh, & Choudhary (2019)和FedBABU Oh, Kim, & Yun (2021)通过特定的架构设计(全局-局部层、微调时的核心冻结等)来降低计算开销和过度适配现象。这些方法提升了联邦学习在异构环境中的应用效果,但尚未针对交通领域的特殊特点(如时空交通模式、合理的道路划分等)进行专门设计,因此交通领域的联邦学习问题仍未得到彻底解决。
为填补这些空白,我们提出了FedCTPM,这是一种具有三项创新的联邦跨区域协同交通流预测模型:第一,采用GEMSEC的自适应道路网络划分机制,通过图嵌入和社区检测识别出交通模式相似的区域,从而构建出更符合实际的地理单元;第二,采用时空解耦掩码预训练策略,通过扩散过程驱动的空间掩码和基于块的时间掩码,在预训练阶段全面提取时空相关性,提升对复杂模式的捕捉能力;第三,采用个性化的联邦优化策略,实现局部时空特征的同步学习、通过参数交互实现跨区域模式共享,以及根据各地区交通特点进行全局-局部自适应优化,从而提升预测的个性化水平。本文的主要贡献如下:
(1) 我们提出了一种用于交通流预测的跨区域联邦学习框架,解决了数据安全约束以及异构节点联邦学习所带来的挑战。该框架采用了受GEMSEC启发的网络划分方法,能够精准刻画和模拟地理上多样化的异构交通模式。
(2) 为捕捉复杂的时空特征,我们设计了时空解耦掩码预训练策略,将该策略与扩散过程驱动的空间掩码和基于块的时间掩码相结合,从而提升对复杂时空上下文依赖关系的层次化表征能力。
(3) 针对联邦学习场景,我们开发了一种个性化的联邦优化策略,该策略通过两阶段的预训练和微调过程,在共享跨区域交通流模式的同时保留各区域的独特交通模式,从而提升模型的泛化能力和预测精度。
(4) 在多个基准数据集上的全面评估表明,FedCTPM在预测精度方面始终优于现有基准方法,充分证明了其在交通流预测任务中的高效性和优越性能。
本文的其余部分结构如下:第2节回顾了基于深度学习的交通流预测相关研究以及用于交通预测的联邦学习框架。第3节对研究问题进行了正式定义。第4节详细介绍了我们所提出的FedCTPM框架的技术细节。第5节从多个维度对该方法进行了评估,包括对比实验、泛化能力测试、消融研究等,旨在证明该框架的整体有效性及其各组成部分的必要性。最后,第6节对整个研究进行了总结。