《Journal of Traffic and Transportation Engineering (English Edition)》:Towards development-oriented testing and evaluation of ADS: A review of current practices and future trends
编辑推荐:
本综述回顾了面向人工智能(AI)集成的自动驾驶系统(ADS)从白盒测试向黑盒测试的转变,重点强调了基于场景的方法。本综述分析了黑盒测试中的效率挑战以及加速测试和边界跟踪等解决方案。本综述探讨了属性感知测试和闭环增长机制,以支持自动驾驶系统的持续发展。本综述讨论
本综述回顾了面向人工智能(AI)集成的自动驾驶系统(ADS)从白盒测试向黑盒测试的转变,重点强调了基于场景的方法。本综述分析了黑盒测试中的效率挑战以及加速测试和边界跟踪等解决方案。本综述探讨了属性感知测试和闭环增长机制,以支持自动驾驶系统的持续发展。本综述讨论了未来趋势,包括大语言模型(LLM)增强测试和面向下一代自动驾驶系统的可解释框架。
自动驾驶系统(ADS)的快速发展旨在提升交通安全与效率,但人工智能(AI)算法的不透明性、运行环境的高维动态性以及系统复杂性带来了预期功能安全(SOTIF)新挑战。SOTIF风险主要源自触发条件(如恶劣天气、特殊道路几何)和性能局限(如感知、决策能力不足)。现有测试方法在应对“稀疏性诅咒”和“维度诅咒”时效率低下,且多侧重于通过/失败验证,无法为系统持续改进提供深入反馈。随着端到端(E2E)架构、世界模型和多模态大语言模型的兴起,系统黑盒程度加深,传统白盒测试逐渐失效。为此,研究人员开展了系统综述,提出发展导向的ADS测试与评估框架,并围绕四个研究问题组织分析。
在方法上,研究人员依据PRISMA 2020指南进行文献检索与数据提取,时间范围主要为2015至2025年,数据源包括IEEE、Springer、arXiv、Elsevier、Nature和ISO。经过多阶段筛选,从1368篇检索结果中最终纳入353篇符合标准的研究。文章通过对比白盒/黑盒范式、加速测试/边界跟踪、属性感知/闭环增长等维度,构建了发展导向测试的层次化分类体系。
2. Testing paradigm shift: from white-box to black-box approaches in ADS。本节通过分析系统透明性与测试需求的关系,发现早期模块化ADS可用白盒方法(如故障树分析(FTA)、失效模式与影响分析(FMEA)、系统理论过程分析(STPA))检验;而AI原生架构由于内部逻辑不可解释,黑盒测试成为必然。黑盒测试包括传统软件测试、AI辅助智能搜索、模型规范测试和对抗鲁棒性测试。基于场景的测试是核心,场景分为功能、逻辑和具体三层。形式级场景构建有数据驱动、机制建模和LLM三类;参数级场景包括自然主义场景和安全关键场景。研究指出,LLM生成场景存在幻觉与空间推理缺陷,需结合检索增强生成(RAG)和多模态验证等技术加以缓解。
3. Efficiency enhancement: from accelerated testing to boundary tracking。本节针对黑盒测试效率低下的问题,定义了效率公式,区分速度相关和质量相关挑战。加速测试方法包括基于采样的方法(重要性采样、交叉熵方法、子集模拟)和基于代理模型的方法(如高斯过程回归、Kriging模型)。这些方法在低维场景中实现10
3–10
5倍加速。边界跟踪旨在刻画安全/失效转换前沿,形式化为多目标优化问题。方法包括基于搜索的优化(模拟退火、遗传算法、树搜索)、机器学习代理(高斯过程分类、支持向量机)及混合自适应策略。目前边界跟踪在2–15维场景有效,但扩展到高维真实环境仍需解决维度灾难问题。
4. Shifting testing goals–from pass/fail to property-aware and development-oriented testing。本节提出测试目标应从“是否通过”转向“系统如何行为、为何失败、如何改进”。属性感知测试包括系统属性建模(如动态图、知识图谱)、行为可解释性(如沙普利加性解释(SHAP)、局部可解释模型无关解释(LIME)、决策树、梯度加权类激活映射(Grad-CAM))和敏感性分析(局部和全局方法,如Sobol、Morris、PAWN)。为支撑系统持续成长,需建立动态多维评估体系,从基础性能、场景适应、认知智能等层次评估;同时依靠数据闭环和持续学习机制(如弹性权重巩固(EWC))实现“测试—发现—学习”循环。
5. Current understanding and open challenges。在讨论部分,研究人员综合四项研究问题指出,发展导向测试的核心特征包括:闭环测试结构、结果反馈至场景与系统理解模型、基于模型的测试选择、针对特定系统(SUT)的自适应以及显式的改进-重测步骤。未来机遇包括将测试作为发展引擎、统一场景与能力建模、LLM增强生成测试、可解释透明测试以及针对在线学习系统的持续验证。研究结论可翻译为:发展导向测试有望成为安全、可扩展、智能自动驾驶的基石。通过重新思考测试方法的目的、粒度和适应性,该领域能够走向一个测试不再是瓶颈,而是创新、问责与信任催化剂的未来。