《Transportation Research Record》:Multi-Modal Deep Learning Approach for Comprehensive Pavement Condition Evaluation Using Vision-Language Models
编辑推荐:
及时且准确的路面状况评估对于道路安全、基础设施寿命以及经济有效的维护规划至关重要。传统方法严重依赖人工检查,这种方式劳动强度大、主观性强且可扩展性有限。视觉-语言模型(Vision-Language Models, VLMs)的最新进展为自动化该过程提供了新的
及时且准确的路面状况评估对于道路安全、基础设施寿命以及经济有效的维护规划至关重要。传统方法严重依赖人工检查,这种方式劳动强度大、主观性强且可扩展性有限。视觉-语言模型(Vision-Language Models, VLMs)的最新进展为自动化该过程提供了新的机遇,通过将视觉分析与自然语言生成相结合。在本研究中,研究人员提出了一个新框架,利用微调后的视觉-语言模型(VLM)通过分析视觉输入并生成描述性语言输出来实现路面状况评估的自动化。该框架检测路面病害的关键组成部分,包括类型、严重程度和范围,并生成数值型路面状况指数(Pavement Condition Index, PCI)分数和详细的文本描述。研究人员使用一个自定义数据集微调了三种最先进的视觉-语言模型(VLM)——Qwen2.5-VL、InternVL和LLaVA-Next,该数据集标注了病害类型、严重程度和范围,以及多边形标注和自然语言描述。为提升性能,研究人员实施了一种针对性微调方法,包括指令提示多样化、边界框接地、PCI量表归一化以及跨Transformer和跨模态层的扩展低秩自适应(Low-Rank Adaptation, LoRA)。在这些模型中,Qwen2.5-VL取得了最高性能,其描述准确性的METEOR分数为0.8989,ROUGE-L分数为0.9023,PCI预测的平均绝对误差为1.19,均方根误差为1.89。这项工作证明了视觉-语言模型(VLM)在实现可扩展、可解释且准确的路面评估方面的有效性,为传统检测方法提供了一种实用替代方案,并为智能基础设施管理系统铺平了道路。
## 基于视觉-语言模型的路面状况综合评估研究解读
### 一、研究背景与问题阐述
路面状况的及时、准确评估对于保障道路安全、延长基础设施使用寿命以及降低长期维护成本至关重要。传统的路面监测依赖于人工目视检查,由经过培训的人员记录裂缝、车辙和坑洞等表面病害。尽管此类方法奠定了路面评估的基础,但存在劳动强度大、耗时长、主观性强且易受人为错误影响等固有缺陷,这限制了其在大规模路网中的实际部署。随着传感技术与人工智能的发展,基于图像处理和深度学习(Deep Learning)的自动化方法被日益广泛地采用,以替代或辅助人工检测。卷积神经网络(Convolutional Neural Networks, CNNs)及其代表性架构如YOLO(You-Only-Look-Once)和U-Net在病害检测、分割和严重程度分类方面展现出强大性能。然而,这些模型往往严重依赖大规模高质量标注数据集,此类数据集生产成本高昂且覆盖范围有限,制约了模型的跨区域、跨病害类型的泛化能力。
路面管理系统不仅需要检测病害,还依赖可靠、标准化的量化指标来指导维护决策。路面状况指数(Pavement Condition Index, PCI)作为综合性的数值评级被广泛采用,其范围从0(最差)到100(最好),依据病害类型、严重程度和范围等细节调查得出,符合ASTM D6433标准。尽管在PCI评估自动化方面已取得重大进展,现有模型多采用多阶段流程,先检测病害类型再估算PCI,不仅流程复杂,且缺乏将数值评估转化为描述性、人类可读语言的能力,导致非技术性利益相关方(如市政官员、政策制定者和学生)难以直观理解路面病害的细微差别及特定PCI评级背后的原因,形成了技术指标与非专业用户之间的沟通鸿沟。近期,大语言模型(Large Language Models, LLMs)和视觉-语言模型(Vision-Language Models, VLMs)凭借其跨域泛化能力和自然语言生成能力,为弥合这一可解释性差距提供了新思路。然而,现有模型多仅输出数值型PCI分数,缺乏面向非专家的描述性解释,且往往仅在单一模态上操作,无法全面捕捉路面复杂状况。因此,亟需一种能够无缝整合视觉分析与自然语言生成的全新方法,以推动路面评估向可解释、可访问和智能化方向发展。
### 二、研究目标与核心贡献
针对上述问题,本研究的核心目标在于提出一个系统性的路面状况评估框架,利用微调后的视觉-语言模型(VLM),在单一流程中同时检测PCI评估所需的三大关键要素——病害类型、严重程度和范围,并在此基础上,既生成数值型PCI评分,又生成详细、人类可读的病害描述。该框架减少了对人工检查和昂贵专用设备的依赖,仅需标准相机和微调后的语言模型,即可实现快速、自动化、客观的路面评估,具有显著的可扩展性和实用价值。研究的核心贡献在于:一是构建了一个能够同时检测病害三个关键要素的端到端框架,提供了对路面状况的完整理解;二是精心构建了包含详细描述性标签(类型、严重程度、范围)及多边形和边界框标注的路面病害数据集,为细粒度多模态评估研究提供了基准;三是通过系统的实验评估,验证了微调VLM在路面评估中的有效性,揭示了模型架构选择与训练策略对性能的影响。
### 三、关键技术方法概述
研究人员提出了一种多阶段流水线框架(见原文图1)。首先,利用激光裂缝测量系统(Laser Crack Measurement System, LCMS)采集高分辨率路面表面图像,共766张,每张分辨率为2011×1014像素。随后,通过预处理将原始LCMS图像转换为二值掩膜以隔离病害区域,并根据裂缝尺寸进行初步严重程度估计。接下来,使用计算机视觉标注工具(Computer Vision Annotation Tool, CVAT)进行精确的多边形标注,描绘病害边界,并针对每种路面病害生成详细的自然语言描述(包括类型、严重程度、范围及上下文信息)。标注工作由经过ASTM D6433-11标准培训的土木工程研究生完成,并接受了路面工程师的审查以确保质量。研究识别了六种病害类型和三级严重程度(低、中、高),并依据ASTM标准制定了线状裂缝的定量像素分类方法和区域/模式病害的定性视觉评估方法。PCI计算则依据ASTM D6433-11程序自动完成。最后,研究选择了三种最先进的VLM——Qwen2.5-VL、InternVL和LLaVA-Next,针对路面评估任务进行了微调。微调策略整合了指令提示多样化、边界框接地增强、PCI量表归一化(从0-100压缩至1-10)以及扩展的低秩自适应(LoRA)方法,以适应跨模态层。训练采用混合精度(FP16)在两块NVIDIA RTX A6000 GPU上进行。评估方面,PCI预测精度使用均方根误差(Root Mean Square Error, RMSE)、平均绝对百分比误差(Mean Absolute Percentage Error, MAPE)和平均绝对误差(Mean Absolute Error, MAE)衡量;病害描述质量则使用BLEU(Bilingual Evaluation Understudy)、METEOR(Metric for Evaluation of Translation with Explicit Ordering)和ROUGE(Recall-Oriented Understudy for Gisting Evaluation)三种自然语言生成评价指标。
### 四、研究主要结果
**(一)路面病害描述性能**
1. **整体模型性能对比**:实验结果显示,微调后的Qwen2.5-VL在所有评估指标上均表现最佳,其BLEU-1、METEOR和ROUGE-1分数分别达到0.8892、0.8989和0.9217,表明该模型生成的病害描述在词汇精确性和语义连贯性上均与真实标注高度吻合。InternVL经微调后也取得中等程度提升,但性能差距仍然显著。相比之下,LLaVA-Next的提升幅度最小,其架构可能不太适合路面病害描述的特定任务要求。预训练与微调模型的对比凸显了领域特异性训练对于路面检测任务的关键重要性。
2. **消融研究**:渐进式的训练方法验证了各训练组件的有效性。在基础配置(仅使用结构化描述)上,添加边界框信息使Qwen2.5-VL的BLEU分数从0.780提升至0.797,说明空间定位信息对准确描述至关重要。加入变化性问题格式进一步带来增益(BLEU达0.8215),表明多样化查询模式增强了模型的鲁棒性和泛化能力。最终加入归一化PCI值,使模型达到最优性能(BLEU 0.8293,METEOR 0.8989,ROUGE 0.9023),证实了全套策略的综合有效性。
**(二)PCI估算性能**
微调后Qwen2.5-VL在PCI预测方面也表现最佳,RMSE为1.89、MAE为1.19、MAPE为29.32%,在标准PCI量表(0-100)上平均绝对误差约1.2个百分点,达到了相对较高的自动化评估精度。散点图与相关性分析显示,Qwen2.5-VL的预测值与真实值之间存在强正相关性(R2=0.5924),回归线斜率接近1,表明其在全PCI范围内保持合理准确性,尽管对较高PCI值有轻微低估倾向。InternVL表现出中等相关性(R2=0.5309),而LLaVa-Next的相关性最低(R2=0.3307),存在显著系统偏差,在区分不同PCI范围时能力有限。
### 五、讨论与结论总结
本研究成功验证了微调视觉-语言模型(VLM)用于全自动路面状况综合评估的可行性。研究表明,选择合适的基础模型架构以及采用针对性的微调策略对于提升路面评估性能至关重要。细粒度病害检测和自然语言描述生成的整合,使模型输出不仅包含精确的定量PCI指标,还提供了面向非技术人员的直观解释,有效弥合了工程分析与决策沟通之间的鸿沟。
在讨论部分,研究人员指出尽管Qwen2.5-VL表现优越,但在同一图像内存在重叠或多种病害密集出现的情况下,模型仍会产生错误分类,主要归因于复杂场景下病害特征的高度视觉相似性。这一局限性提示未来研究需纳入更多此类复杂情景并扩大训练数据规模。此外,当前评估仅覆盖七种病害类型,未来工作应扩展至更广泛的病害类别、不同路面类型和多样化环境条件,以建立全面的系统鲁棒性。集成时间序列分析能力还有望实现路面劣化模式的追踪,为预测性维护策略提供有力支持。
综上所述,本研究开发的基于微调视觉-语言模型(VLM)的双重功能框架,能够同时生成包含严重程度、类型和范围的详细病害描述以及定量路面状况指数(PCI)数值评估。微调后的Qwen2.5-VL模型在各项评估指标上均取得最优性能,其生成技术精确描述的能力(METEOR分数0.8989)与保持高数值预测准确性(PCI估算MAE 1.19)的结合,标志着自动化基础设施检测能力的重大进步。系统的消融实验揭示了视觉-语言应用有效训练策略的关键洞见,为智能基础设施管理系统的发展奠定了坚实基础。