数据驱动建模中的交互式可解释性:以神经网络为中心的综述

《Neurocomputing》:Interactive explainability in data-driven modeling: A neural-network-centric survey

【字体: 大 中 小 】 时间:2026年04月06日 来源:Neurocomputing 6.5

编辑推荐:

  基于神经网络的交互可解释性研究提出四层框架,覆盖数据、问题、模型和后处理层面,整合Poznyak的动态神经网络与稳定性分析,探索解释结果向部署调整的闭环机制。

  
洪胜波|余文|柴天友
中国沈阳东北大学过程工业综合自动化国家重点实验室,邮编110819

摘要

本文以神经网络为中心,回顾了数据驱动建模中的交互式可解释性,涵盖了卷积神经网络(CNNs)、图神经网络(GNNs)和Transformer等主流架构,并重点讨论了在高风险环境中的安全、可靠性和合规性部署要求。仅用于最大化预测准确性的黑盒模型无法满足实际运营需求,而静态解释也不足以支持在线调整。为了解决这一难题,我们构建了一个以神经网络(NNs)为核心的四层统一框架,将交互式输入点分为数据与知识、问题、模型和事后四个层面。对于每个层面,我们总结了交互目标、输入机制、代表性方法及解释输出,以及评估和实施注意事项。结合本期特刊的主题,我们还回顾了Alexander Poznyak教授在差分神经网络(DiNNs)、多项式神经网络(PNNs)和动态神经网络(DyNNs)方面的代表性贡献,以及稳定性分析。我们通过交互式可解释性的视角重新诠释了这些研究中建立的可行集、误差界限和稳定性证书,并利用它们从理论上探讨了交互式可解释性机制的发展潜力。最后,我们总结了关键挑战并指出了未来的研究方向。

引言

数据驱动建模方法已广泛应用于医学成像、金融风险控制、推荐系统和自然语言处理等领域,但在医学成像、自动驾驶和复杂工业过程等高风险领域,仅用于最大化预测准确性的黑盒模型无法满足安全性、可靠性和合规性的要求[1]、[2]、[3]、[4]。操作系统应提供可审计的决策依据,正式描述不确定性和风险边界,并在分布变化的情况下保持经验验证的稳定性和可信度。同时,它们应将业务偏好和安全约束(如阈值、成本权重、关键绩效指标和可行区域)转化为对数据和外部知识、目标与约束、模型结构及推理策略的可执行交互式输入,从而凸显可解释性和交互性的必要性[5]、[6]、[7]。
受这些部署要求的驱动,作为数据驱动建模最具代表性的范式,神经网络已成为多模态任务和高风险应用中的首选[8]、[9]、[10]。其可微分优化和强大的表达能力提升了视觉、语言和图结构任务的性能,但其内部表示仍难以解释,且随着模型和训练规模的扩大,预测背后的特征依赖性和决策路径变得越来越不透明。更重要的是,当安全约束或业务偏好发生变化时,缺乏系统化的机制来控制和选择性地调整决策边界和可行区域。这需要结构化的可解释性和交互机制,以确保部署的模型处于可审计和可调整的范围内[11]、[12]、[13]。同时,神经网络的可微分和模块化设计为将可验证的证据转化为可执行的输入提供了天然接口,而关于DiNNs、PNNs和DyNNs的研究成果以及稳定性分析,为构建既可解释又可控的神经模型提供了可测试的理论基础[14]、[15]、[16]、[17]。
我们根据交互式输入的目标将交互式可解释性分为四个层次,涵盖了从数据到决策的整个过程,并专注于将解释输出转化为可执行的输入。数据和知识层面编辑或注入样本、标签、特征和外部知识,以改善训练信号并使其与先验一致。问题层面重新定义任务、调整目标和权衡,并实施可执行的约束,以使模型行为符合业务偏好。模型层面嵌入可编辑的结构,如中间概念、原型、可微分逻辑和单调性,以实现模型内的可控变化。事后层面保持核心结构不变,将归因、概念分析、反事实分析和不确定性转化为重新训练、蒸馏、阈值设定、拒绝和测试时间适应等操作。本文涵盖了CNNs、GNNs和Transformer及其交互式扩展。
我们的贡献有四个方面:
  • 1.
    统一的以神经网络为中心的框架。我们将数据驱动的神经网络(包括卷积网络、Transformer和图神经网络)的交互式可解释性组织为四个层次:数据和知识层面、问题层面、模型层面以及事后层面。我们进一步明确了从可验证的证据到可执行操作再到持续更新的清晰流程,将可读的解释转化为部署时的可追踪决策调整。
  • 2.
    以实践为导向的输入机制整合。
    我们系统化了输入机制,如目标重新加权、弱监督和反事实数据、可微分和神经符号约束、概念和原型通道,以及拒绝和阈值策略,并在复杂工业过程、医学成像和临床决策、自动驾驶和机器人技术以及推荐系统中验证了可部署的设计模式。
  • 3.
    以部署为中心的评估框架和研究议程。
    我们总结了透明度、变化下的稳定性、约束满足度以及人类和样本效率等评估维度,并明确了模型复杂性控制、性能-可解释性权衡、标准化、安全性和隐私性等方面的开放性挑战,以指导未来的研究。
  • 4.
    Poznyak的神经网络研究方向的系统化回顾。
    在同一框架下,我们回顾了Alexander Poznyak及其合作者在DiNNs、PNNs和DyNNs以及稳定性分析方面的代表性贡献,并将这些工作中的可行集、误差界限和稳定性证书重新诠释为现代交互式神经网络部署的可重用知识资产和安全证据(表1)。
  • 本文的结构如下:第2节介绍背景、术语和统一的以神经网络为中心的视角,并阐述了交互式可解释性的范围和必要性。第3节提出了四个层次的分类及其关键机制,并将这些机制与DiNNs和稳定性分析联系起来。第4节回顾了在工业过程、医学成像和临床决策、自主系统和推荐系统中的应用。第5节总结了在部署要求下的挑战和未来工作方向。第6节进行了总结(图1,图2)。

    部分内容摘要

    背景和动机

    神经网络已成为数据驱动建模的主流范式,并广泛应用于医学成像、自动驾驶和工业过程等高风险领域。具体而言,标准的前馈神经网络实现了一个参数映射,其中表示可训练参数的集合。然而,仅针对预测准确性优化的黑盒模型难以满足安全性、可靠性和合规性要求,且很少提供足够的证据来支持风险

    方法论基础和桥梁概述

    为了在本节的层间调查之前明确跨层协作,表4总结了代表性的证据源到干预目标的映射及其协同效果。基于这一概述,所提出的框架被理解为一个闭环系统,而不仅仅是一个线性流程。典型的交互生命周期从事后层开始,专家通过显著性分析识别模型故障证据。然后,这些证据被转化为新的

    应用领域

    本节讨论了代表性高风险应用场景中的交互式可解释性。前面介绍的四个输入层次——数据和知识、问题、模型和事后层次——提供了一个统一的结构,将解释性证据与可执行的输入和部署时的调整联系起来。在复杂工业过程、医学成像和临床决策、自动驾驶和机器人技术以及推荐系统中,神经网络已成为核心建模工具

    挑战和未来研究方向

    交互式可解释性在本工作中提出的四个输入层次上仍面临关键问题。一个核心挑战是如何在保持可控性和一致性的同时,将交互信息表示并融入训练和推理过程中。由于交互可能会引入时变变化并影响闭环演化,这些问题从根本上要求对扰动传播、长周期稳定性等进行研究

    结论

    本文以神经网络为中心,回顾了数据驱动建模中的交互式可解释性。基于涵盖数据和知识、问题表述、模型和事后交互的统一四层框架,我们强调了将可验证的证据转化为可执行的输入,并以可追踪的方式将其反馈到训练和推理中,从而将可解释性从静态展示提升为一个持续更新的闭环过程。

    CRediT作者贡献声明

    洪胜波:撰写——审稿与编辑、初稿撰写、方法论构建、概念化。余文:撰写——审稿与编辑、监督、概念化。柴天友:监督、资金筹集。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

    致谢

    本工作部分得到了辽宁省辽河实验室研究计划(编号LLL23ZZ-05-01)、辽宁省重点研发计划(项目编号2023JH26/10200011)、国家自然科学基金(项目编号61991404)、国家重点研发计划(项目编号2024YFB3309701)以及辽宁省2024年科技重大项目(项目编号2024JH1/11700048)的支持。
    洪胜波于2021年在中国沈阳的东北大学获得自动化学士学位。他目前在中国沈阳的东北大学过程工业综合自动化国家重点实验室攻读控制科学与工程博士学位。2023年10月至2025年3月,他曾作为访问博士生在墨西哥墨西哥城的Cinvestav-IPN自动控制系学习。他的当前研究兴趣包括
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号