《Results in Engineering》:A Recursive Variational Neural Network Framework for Dynamic Generation of Urban Street Scenes
编辑推荐:
摘要:从结构化数据生成大规模三维城市场景街道是地理空间计算与城市仿真中的关键挑战。现有生成方法难以复用语义一致的局部结构、难以编码孤立物体之外的关系约束,且难以以可控且物理一致的方式组织无界室外布局,这限制了其在复杂道路网络及异质路边基础设施上的应用。为从算法
摘要:从结构化数据生成大规模三维城市场景街道是地理空间计算与城市仿真中的关键挑战。现有生成方法难以复用语义一致的局部结构、难以编码孤立物体之外的关系约束,且难以以可控且物理一致的方式组织无界室外布局,这限制了其在复杂道路网络及异质路边基础设施上的应用。为从算法层面解决上述问题,本文提出FocusRvNN——一种基于变分自编码器(Variational Autoencoder, VAE)与场景图(Scene Graph)的聚焦驱动递归变分神经网络(Recursive Variational Neural Network, RvNN)框架。该框架引入聚焦驱动注意力机制识别并聚类高频地理空间子结构作为可复用语义基元;采用图卷积网络(Graph Convolutional Network, GCN)嵌入编码子结构间空间关系作为条件生成线索;采用由粗到细的分层组装策略逐步合成大规模布局,同时强制执行物理与语义一致性。所提框架在CarlaSC数据集上评估,布局一致性平均交并比(mean Intersection over Union, mIoU)达82.89%,在测试硬件配置下约15秒生成完整城市场景。生成流程进一步集成Unreal Engine 5以支持交互式可视化与检验,表明其主要适用于模拟环境(在合成CarlaSC数据集上评估,辅以真实世界Cityscapes数据集进行语义验证)中的城市规划和虚拟环境设计的仿真导向工作流。
论文解读:
《A Recursive Variational Neural Network Framework for Dynamic Generation of Urban Street Scenes》由Lei Fang、Fan Yang、Mincheol Whang与Hongguo Ren完成,发表于《Results in Engineering》。三维室外城市场景街道的生成在城市规划、虚拟现实及智能交通系统中具有重要应用价值,可提供高可控的仿真环境并降低部署成本。然而现有方法面临若干瓶颈:过程化规则或图像驱动建模依赖手工先验且灵活性差,难以扩展至多样且持续演化的室外街道布局;基于扩散(Diffusion)或布局的生成模型虽提升物体级多样性,但在无界室外场景中缺乏保持长距离结构组织与关系约束的机制,尤其当局部模式需在大规模空间范围内被一致复用时表现不足;传统递归自编码器多针对室内层次结构,对动态室外场景及大尺度关系捕捉能力有限;鸟瞰图(Bird's Eye View, BEV)或文本条件方法需像素级输入或详细描述,限制大规模使用。因此研究人员开展了此项研究,提出FocusRvNN框架以解决子结构复用缺失、关系上下文不足及大规模布局组织不可控的问题,并在合成及真实基准数据集上验证其有效性。研究结果表明,该方法在布局语义一致性mIoU、生成效率及多样性方面优于对比基线,且与Unreal Engine 5集成后可支持交互式仿真工作流。
研究人员采用的主要关键技术方法如下:以CarlaSC数据集(1024个高分辨率3D室外场景含语义标注与BEV图,按7:2:1划分训练/验证/测试集,辅以Cityscapes数据集做补充验证)为实验对象;将城市场景建模为场景图(Scene Graph),节点代表语义实体(道路段、人行道、路灯、车辆等),边代表空间关系;设计聚焦驱动(Focus-driven)子图聚类模块,通过注意力机制动态提取高频可复用局部子结构(如道路–路灯–人行道组合)作为语义基元;采用两层图卷积网络(Graph Convolutional Network, GCN)编码子结构间空间关系并映射为变分自编码器(Variational Autoencoder, VAE)的条件索引;构建递归变分神经网络(Recursive Variational Neural Network, RvNN)以自底向上递归编码场景图节点与子结构、自顶向下递归解码生成布局;实施由粗到细(Coarse-to-fine)三级分层拼接优化(基础层主干道路与人行道→二级层路灯与护栏→填充层车辆与植被),通过欧氏距离阈值δd约束防止物理不合理附着;损失函数由节点类别交叉熵、相对坐标均方误差(Mean Squared Error, MSE)、子节点数交叉熵及KL散度(Kullback–Leibler Divergence)组成,β=0.5平衡重建保真度与潜空间多样性;超参数敏感性分析中优选K1=25、K2=20、注意力阈值αmin=0.1、拼接距离4 m、VAE正则权重0.5;采用Adam优化器训练50 epoch,并与Pyramid Discrete Diffusion(PDD)、SceneGraphs、Text2LiDAR、GRAINS、CityGen等基线对比;最终将JSON格式预测关系导入Unreal Engine 5渲染与交互检视;通过FID(Fréchet Inception Distance)、CMMD(Cross-Modal Moment Distance)、MSE、多样性得分、mIoU及用户研究(N=42与N=163,Likert五点量表)综合评估。
研究结果如下:
—4.1 数据与数据处理(Data and Data Processing):采用CarlaSC为主数据集,从中提取代表性子结构构建约5000个实例的子数据集供聚焦机制使用;所有数据标准化至[-1,1]范围。
—4.2 评估方案(Evaluation Protocols):综合客观定量指标(生成质量、多样性、效率、保真度)与主观用户研究,设定FID<50、JS散度(Jensen–Shannon Divergence)>0.5、LPIPS(Learned Perceptual Image Patch Similarity)>0.3为质量检查阈值。
—4.3 数据分析结果(Data Analysis Results):
—4.3.1 与基线方法的定量比较(Quantitative Comparison with Baseline Methods):FocusRvNN取得FID=38.4(低于PDD的51.5、SceneGraphs的52.3等),CMMD=2.19(低于各基线),MSE=0.355±0.028(显著低于PDD的20.26),多样性得分=4.762±0.038(最高),路面IoU=85.67%、人行道IoU=81.23%、路灯IoU=79.89%,加权mIoU=82.89%(路面45%、人行道30%、路灯25%),单场景生成时间≈15 s(NVIDIA RTX 3090),参数量0.3 M,F1=0.66。消融实验显示完整S1→S2→S3多尺度金字塔加GCN条件索引相较无条件的S3单独使用mIoU提升约15%;两层GCN较单层GCN空间关系准确率提升约8%—16.1%;多级拼接减少语义不一致15%并提升场景完整性15%。
—4.3.2 定性分析与方法比较(Qualitative Analysis and Method Comparison):混淆矩阵对角线值达0.81(高于GRAINS 0.78、Text2LiDAR 0.73等),表明分类准确度最优;UE5集成实现VR可视化效率提升约80%。
—4.3.3 参数敏感性分析(Parameter Sensitivity Analysis):在Cityscapes数据集上市政道路、路灯、行人区域等类别mIoU随N(路径顶点数)、M(方向数)、H(连续顶点数)、W(相邻路径数)增大而升高并在12—16处趋于饱和,推荐N=M=H=W=12—16以平衡性能与计算开销,最优可达约82% mIoU;FocusRvNN在Cityscapes上mIoU=82.89%,超过PIDNet-S(78.6%)等六款实时语义分割基线。
—4.4 问卷分析结果(Questionnaire Analysis Results):
—4.4.1 用户研究(User Study)(N=42):效率与操作简化(H1, M=3.91, p<0.001, d=1.63)、时间节省(H2, M=3.83, p<0.001, d=1.30)、视觉整合与质量(H3, M=4.17, p<0.001, d=2.97)、整体需求与界面体验(H4, M=4.10, p<0.001, d=1.51);多元回归显示H1显著正向预测H4(β=0.38, p=0.011)。
—4.4.2 真实感评估(Realism Evaluation)(N=163):生成质量(GenQuality, M=4.19)、效率(Efficiency, M=4.14)、保真度(Fidelity, M=4.12)、整体用户体验(UserOverall, M=4.15),均显著超过中性点3(p<0.001, d>1.52);性别与年龄无显著影响。
—4.4.3 总体结论(Overall Conclusions):用户主观评价全面显著偏正面,操作精简与视觉真实性最受认可。
讨论与结论翻译:本文提出FocusRvNN——一种基于变分自编码器(VAE)与图卷积网络(GCN)的递归变分神经网络(RvNN)框架,用于从场景图渐进生成语义一致的3D室外街道场景。该框架通过聚焦驱动机制识别代表性局部子结构,并通过多级拼接策略组合为大规模布局以促进生成过程中的结构一致性。在合成CarlaSC数据集上,所提框架较选定基线(如PDD与Text2LiDAR)展现出改善的语义一致性,mIoU达82.89%。额外参数敏感性分析及在含真实世界城市场景的Cityscapes基准数据集上的mIoU比较亦作为对异质数据分布下鲁棒性的补充评估。本研究实现中场景生成通常每场景约需15秒(依硬件与流程而定)。综上,定量结果、定性示例与主观评估表明FocusRvNN是推动仿真导向街道场景合成与交互检视中可控结构布局生成的有前景的一步,限于所评估的实验范围。局限性包括依赖场景图质量、主要在合成数据上定量评估、对超参数敏感及用户研究采样局限;未来工作拟融合LiDAR/RGB传感线索以弱化对规整场景图的依赖、引入不确定性估计量化生成可靠性,以及优化实时部署效率。