《Machine Learning with Applications》:Linear Lens: A human-centered, non-interventional mechanistic approach to explainable AI
编辑推荐:
研究人员提出一种名为Linear Lens的可解释性框架,将训练后神经网络(Neural Network, NN)中神经元权重分解为有意义的语义成分(Semantic Components),而非仅视为数值权重,并通过定性符号矩阵(Qualitative Sy
研究人员提出一种名为Linear Lens的可解释性框架,将训练后神经网络(Neural Network, NN)中神经元权重分解为有意义的语义成分(Semantic Components),而非仅视为数值权重,并通过定性符号矩阵(Qualitative Symbolic Matrix, QSM)以符号标记(★/°)呈现输入特征对各层神经元及最终预测输出的贡献路径,从而提供诊断清晰度与用户信任。该方法基于影响聚合(Influence Aggregation)与熵驱动(Entropy-based)的神经元角色分类——单语义(Monosemantic,响应单一特征)、多语义(Polysemantic,响应多特征组合)及静默(Dead)——在不重新训练、扰动或迭代优化的情况下线性扩展至多层感知机(Multilayer Perceptron, MLP)、长短期记忆网络(Long Short-Term Memory, LSTM)及Transformer架构。研究人员在十个真实建筑能耗数据集(学生宿舍、独户住宅、工业及商业建筑)上对MLP/LSTM/Transformer进行评估,通过Phase 1–Phase 3逐层追踪特征→神经元→输出的语义传播路径,并结合400人用户研究验证解释的认知负载(Cognitive Load Theory, CLT)、信任与可用性(Trust & Usability of Explanations, TUE)、可理解性(Comprehensibility of Explanations, CoE)及可行动性(Actionability of Explanations, AoE)。结果表明:首层神经元中>90%为多语义,深层经组合形成单模态(Unimodal,继承单语义)与多模态(Multimodal,继承多语义)单元;QSM使领域专家直观验证模型是否符合领域逻辑,用户研究显示Linear Lens在可用性、清晰度与促进决策方面获较高认同,证明事后(Post-hoc)线性透镜分析可在不损性能前提下提升黑盒时序预测模型的可解释性与可信度。
论文解读:《Linear Lens:一种基于神经元分解与语义投射的神经网络可解释性框架——应用于能源负荷预测》
研究背景与意义
深度神经网络在时间序列预测(如建筑能耗预测)中常作为"黑箱"运作,其决策过程缺乏透明性,限制了在高风险领域的部署与信任建立。现有可解释人工智能(Explainable AI, XAI)方法多依赖特征重要性打分或注意力可视化,难以揭示神经元层面的语义角色及跨层特征组合机制。目前缺乏对全连接层、循环门及注意力子模块统一适用的、无需重训练的神经元级解释框架,且少有工作从机制性解释(Mechanistic Interpretability)角度对能耗预测网络进行解构。为此,研究人员提出Linear Lens框架,将神经元激活分解为输入特征的语义影响分布,通过熵分析与符号化呈现揭示"特征→隐藏层神经元→预测输出"的完整语义传播路径,并在多架构、多场景能耗数据集上验证其诊断价值与用户认知友好性。该文发表于《Machine Learning with Applications》。
主要关键技术方法
研究人员采用十个真实世界能耗数据集(学生宿舍Residence 1–2、独栋住宅House 1–4含带电动汽车充电的House 3、制造业Manufacturing、诊所Medical Clinic、零售店Retail Store、办公楼Office),按6:2:2切分并按滑动窗口(窗口长24 h,步长1)构造监督样本,输入特征含历史能耗、温度、小时、月内日、年内日及周内日,Min–Max归一化。实现MLP(2–4层)、LSTM(输入门/遗忘门分别分析)及Transformer(Query部分)三种架构,隐藏层宽64–512,末隐层固定24单元以匹配24 h预测长度。Linear Lens分四阶段实施:(Phase 1)计算首层各神经元对输入特征的归一化影响向量,以香农熵z-score(|z|>1.645为单语义或静默,否则多语义)分类神经元角色;(Phase 2)统计整层角色分布并构建定性符号矩阵(QSM),用★(很强≈60%)、★★(强≈30%)、★(中≈10%)、°(可忽略)符号化编码影响强度;(Phase 3)将上游神经元激活视作深层"输入",递归应用同套影响聚合—归一化—熵分类,识别深层单模态(Unimodal,承袭单语义)、多模态(Multimodal,承袭多语义)及静默/抑制(Muted)单元,追踪至输出预测f1…f24的组合贡献;(Phase 4)开展N=400的在线问卷调研,基于认知负载理论(CLT:本征/外在/关联负载)、解释信任与可用性(TUE)、可理解性(CoE)及可行动性(AoE)四维Likert 5点量表评估用户理解与信任。
研究结果
4.1 数据集、预处理与模型实现(Datasets, preprocessing, and model implementation)
研究人员使用十类建筑能耗时序数据,经时间特征衍生、归一化及滑动窗口构造后训练MLP/LSTM/Transformer。机构类建筑(宿舍、办公、工厂、诊所)SMAPE多低于15%,家庭住宅SMAPE偏高(30%–60%+)反映个体行为变异大。此差异不影响可解释性分析目标。
4.2 Phase 1结果(Results of phase 1)
通过首层神经元影响向量分析,研究人员识别出单语义神经元(如仅响应温度或仅响应星期几,z<-1.645)、多语义神经元(如同时响应温度+小时+能耗,|z|<阈值)及静默神经元(z>+1.645,近均匀响应)。实例显示:住宅MLP中n5为温度单语义,n12为多语义(温度+小时+年内日+能耗),n8为静默;LSTM输入门与遗忘门、Transformer Query头均呈现同类分化。证实首层神经元具明确或可测的语义专一/混合/无响应角色。阈值)及静默神经元(z>
4.3 Phase 2结果(Results from phase 2)
层级别统计表明:无论MLP/LSTM/Transformer及何种建筑类型,首层神经元中多语义占比88%–98%(典型94%),单语义<10%,静默极少。随网络加深(Phase 3分析),部分多语义驱动的下游神经元形成多模态(Multimodal),少数单语义驱动的下游形成单模态(Unimodal),极少量被抑制(Muted)。研究人员进一步提出定性符号矩阵(QSM),将数值影响转为★/°符号表,使非技术领域专家能直观判断某神经元"主要听哪个特征",从而核验模型是否符合领域知识(如温度影响HVAC能耗、星期几影响办公作息)。
4.4 Phase 3结果(Results from phase 3)
在二层MLP中,L1多语义→L2多模态,L1单语义→L2单模态,少量L2被抑制(Muted);三层MLP延续此规律,末层24单元中单模态约17%、多模态67%–75%、抑制8%,组合(Compositional)神经元直接贡献预测。研究人员给出预测输出f1的特征→L1角色→L2角色→L3角色→影响星级的语义追踪表,证明Linear Lens可追溯任意输入特征经特定神经元路径至最终预测的贡献强弱,实现"黑箱白盒化"。合成对照实验验证已知语义场景下分解正确性。
3.5 Phase 4:用户研究与人类认知理解(User study and human cognitive understanding)
400名受试者(涵盖多元人口学)评价Linear Lens解释。结果显示:本征负载(CLT Intrinsic)适中——理解神经元语义本身有难度但可接受;外在负载(Extraneous Load)低——QSM符号呈现减少不必要认知障碍;关联负载(Germane Load)显著正向——用户借解释形成正确心智模型(如"此神经元监测温度");TUE维度信任与易理解性评分较高;CoE清晰度与连贯性获肯定;AoE实用性与辅助决策获正面反馈。表明Linear Lens解释在促信任、降认知阻碍、助决策方面有效。
讨论与结论(总结)
研究人员得出结论:Linear Lens是一种训练后(post-hoc)、无重训练、线性复杂度的神经网络解释框架,通过将神经元权重视为输入特征语义成分的加权组合,结合熵基z-score分类与符号化QSM呈现,可系统揭示MLP/LSTM/Transformer在能耗预测中"特征→单/多语义首层神经元→单/多模态深层神经元→组合预测输出"的传播机理。实证发现深度时序预测网络首层多为多语义神经元(>90%),深层重组为单模态与多模态单元,少量被抑制;QSM使领域专家校验模型与物理/业务逻辑的吻合度;用户研究证实该解释降低外在认知负载、提升信任与可行动性。该研究为黑箱时序预测模型提供了兼顾机制性细节与人类可读性的解释途径,对智能电网调度、建筑能源管理及需监管AI系统的可解释性合规具有实践意义。未来方向包括扩展至卷积与图神经网络及自动语义标注。