结合基于模型的方法与数据驱动模型:在合成生物学资源竞争中的应用

《Mathematical Biosciences》:Combining model-based and data-driven models: an application to synthetic biology resource competition

【字体: 大 中 小 】 时间:2026年03月05日 来源:Mathematical Biosciences 2.6

编辑推荐:

  阿特费·达拉比|詹明安|穆罕默德·阿里·拉达维|威廉·乔|米拉德·西亚米|爱德华多·D·松塔格美国马萨诸塞州波士顿东北大学电气与计算机工程系摘要本文探讨了机器学习与机理模型的整合应用。在工程、生物学及其他科学领域中,机器学习在数据驱动建模方面已取得显著成效,而机理模型则因其可解释

  阿特费·达拉比|詹明安|穆罕默德·阿里·拉达维|威廉·乔|米拉德·西亚米|爱德华多·D·松塔格美国马萨诸塞州波士顿东北大学电气与计算机工程系摘要本文探讨了机器学习与机理模型的整合应用。在工程、生物学及其他科学领域中,机器学习在数据驱动建模方面已取得显著成效,而机理模型则因其可解释性以及能够基于化学动力学、生理过程等既定原理对观察到的条件之外的情况进行分析而依然不可或缺。不过,构建机理模型往往需要大量工作,且通常依赖于一些简化假设,这些假设可能无法完全反映现实世界的复杂性。因此,将机理模型与机器学习方法相结合,有望实现更可靠的预测、更深入的系统理解,以及更好地处理稀疏或噪声数据。在此过程中面临的一个关键挑战是确保机器学习组件不会忽视机理信息,否则可能导致过拟合或降低可解释性。为解决这一问题,本文提出了部分不确定模型结构这一概念,并研究了如何防止机器学习组件忽略机理约束。此外,本文还介绍了嵌入式物理引导神经网络这一概念,该框架由两个共享损失函数的神经网络组成,能够无缝融合机器学习与机理模型组件。这项工作的起源在于合成生物学中的上下文问题研究。由于资源共享,经过设计的基因电路在活细胞中可能会表现出意外行为。为展示嵌入式物理引导神经网络方法的优势,本文将该框架应用于存在资源竞争的基因网络模型,证明了这种混合建模方法在捕捉复杂系统相互作用的同时保持物理一致性方面的有效性。引言近年来,机器学习方法发展迅速,在从大型数据集中提取复杂模式以及推动多个领域的创新方面取得了显著成就[1]、[2]。特别是在系统生物学和合成生物学领域,机器学习可以融入基因电路设计,为设计和优化合成生物结构提供新方法[3]。然而,纯数据驱动的机器学习模型往往缺乏解释力,在数据有限或无法充分体现某一过程的底层物理或生物学机制的情况下表现不佳[4]。相比之下,机理模型则基于流体动力学方程、化学反应动力学或生理过程等既定原理。在系统生物学和合成生物学中,“基于物理”的模型在设计细胞控制系统时起着关键作用[5]。尽管这类模型具有可解释性、可靠性,且能够对观察到的条件之外的情况进行分析[6],但构建它们往往需要大量工作,且不得不依赖一些简化假设,这些假设未必能完全反映现实世界系统的复杂性。将机器学习与机理模型相结合,有望发挥两种方法的优点,同时弥补各自的不足[7]、[8]。通过将领域知识与数据驱动的算法相结合,应该能够开发出兼具机理模型框架的可解释性和理论严谨性以及机器学习方法的适应性及预测能力的混合模型。理想情况下,这种协同作用将带来更可靠的预测、对系统行为更深入的理解,以及更有效地处理稀疏或噪声数据的能力。正因如此,混合建模这一新兴领域越来越受到关注,其在系统生物学、工程学、物理学和化学等领域都有潜在应用。为充分利用两种方法的优点,至少从20世纪90年代中期开始,人们就提出了多种“混合”机器学习/机理模型组合形式,尤其是在化学过程控制领域[9]、[10]。在系统生物学中,混合模型最近被用于处理转录过程中的未知延迟以及信号通路中未知的部分[11]、[12]、[13]。混合技术旨在将基于物理化学和生物化学知识的可解释模型与数据驱动的统计学习方法相结合。有一篇最新综述探讨并比较了在系统生物学中构建机器学习/机理模型组合方法的各种途径[14]。通常,以往的研究都是利用机器学习将神经网络模型适配到物理约束条件下,或者为机理模型或机器学习模型生成训练数据。而我们在这里感兴趣的是探索一个略有不同的方面,即如何将部分不确定的机理模型纳入包含完全未知组件的更大系统中。我们强调“部分不确定”,是因为那些在较大模型中已经完全知晓的机理部分原则上可以先被预先纳入模型中。在此过程中,后续的机器学习学习阶段实际上可以“减去”模型中已知的那一部分,然后对剩余部分进行拟合。(实现这种方法并非易事,而且将机器学习与完全已知的系统相结合本身也具有很大的实际意义。)接下来让我们更具体地讨论一下要研究的问题。具体而言,本研究所处理的系统是由以下一般形式的常微分方程模型定义的:@normalCrx˙=F(x,π)+G(x),不过类似的思路也适用于偏微分方程、带延迟的微分方程、离散时间方程,甚至是随机方程形式。此处x=x(t)是时间的向量函数,其取值范围为Rn,点号表示时间导数。第一项是一个参数化的向量场F,它取决于x以及一组有限的参数π。它代表了系统中“机理灰色箱”部分,除了参数π的值之外,这一部分是完全已知的。(这类参数的例子可能包括生物化学中的结合速率、药理学中组织间的流量、力学中的质量,或是电路中的电阻等。)这就是系统中“可解释”的部分。例如,我们可能有一个二维微分方程,其坐标描述了一个弹簧的位置和速度,而该弹簧的质量和刚度常数则是未知的(即“已知未知数”)。第二项G(x)则代表了系统中的“黑色箱”部分,关于这一部分事先一无所知(即“未知未知数”)。这类“未知未知数”的例子可能包括细胞生物学中的基因转录或表观遗传效应、哺乳动物体内的免疫成分,或是生态学中物种间的相互作用。在弹簧的例子中,G(x)可能代表未被建模的负载、非线性摩擦力或疲劳效应,从而为已知的物理机制引入“修正”或“补偿”项。我们假设G可以由属于通常为无限维的“通用”函数逼近类的函数来表示,比如深度神经网络或其他机器学习架构。人们希望利用实验数据来同时确定(通常具有物理意义且可解释的)参数π以及函数G,从而使方程(1)与这些数据保持一致。现在,这种看似模糊的表述立刻带来的一个问题就是,似乎没有明显的方法可以避免过度修正现象,即函数G会选择忽略所有机理信息。事实上,假设方程(1)已经被确定为与给定参数向量π下的实验数据相匹配。现在再选取另一个参数π?,那么模型x˙=F(x,π?)+G?(x)同样能够很好地拟合数据,其中G?(x):=G(x)+F(x,π)?F(x,π?)。即便函数F(x, π)和F(x,π?)是不同的,这种情况依然成立,所以问题并不在于可识别性(不同参数导致相同函数)。换句话说,使用机理信息相比直接的机器学习方法并没有任何优势。因此,为使问题有明确的解,我们需要在不确定性上施加一定的结构,这一点我们将在2.4节中讨论。不过在此之前,我们先介绍一个案例研究。我们的研究灵感来源于合成生物学中的上下文问题,也就是说,经过设计的基因电路在植入活细胞后可能无法按预期工作。合成生物学旨在设计用于生物传感、可编程益生菌以及再生医学等应用的生物系统。然而,这一领域面临的一个重大挑战就是组合上下文问题,即生物电路模块的特性会因其他模块的存在而发生变化。这种上下文依赖性会导致不可预测的行为,使得设计模块化且可扩展的生物系统变得困难。与传统工程学科不同,传统工程学科中的标准化组件是通过明确的物理原理和抽象层相互作用的,而生物模块之间的相互作用则更为复杂,且往往难以理解。诸如反馈效应[15]、资源共享、基因上下文效应、生长速率反馈以及脱靶相互作用等因素都可能干扰电路的预期功能[5]、[15]、[16],甚至会导致一些矛盾现象,比如基因表达的激活因子实际上起到了抑制作用[17]。此外,与其他工程领域不同,其他工程领域可以通过反馈控制器等手段将模块与外部影响隔离开来,而合成生物学则缺乏有效的框架来应对这些上下文效应。因此,基因电路往往是以临时拼凑的方式设计的,每当引入新的组件时,就需要耗费大量精力重新进行特性分析。这种试错式的做法减缓了进展速度,也限制了合成生物学的可扩展性。因此,了解上下文效应对于开发一种更加系统化、可预测的设计框架至关重要,这样的框架能够考虑到各种意外相互作用,从而实现生物模块的可靠组合。有趣的是,这类上下文效应在自然界中发生的、非合成的细胞过程中也似乎起着核心作用,比如癌症转移过程中的表观遗传调控机制[18]。我们将以合成生物学中的一个资源共享模型作为案例研究,来阐述我们的观点。具体而言,我们将使用2.2节中介绍的四维模型,该模型是那里描述的更复杂模型的简化版本。物理引导神经网络是一种深度学习模型,它将物理定律——例如以微分方程形式表达的定律——纳入训练过程中。与传统仅依赖标记数据的神经网络不同,物理引导神经网络将控制方程作为约束条件嵌入到损失函数中。这种方法已在流体动力学、材料科学以及生物医学工程等领域得到成功应用,因为在这些领域中数据往往较为稀少或获取成本高昂[19]。通过利用自动微分和现代优化技术,物理引导神经网络提供了一种无需网格划分的替代方案,同时仍能保持物理一致性[20]。物理引导神经网络建立在早期的一些研究成果之上,例如[21]中通过最小化残差来训练神经网络以近似求解偏微分方程。物理引导神经网络则通过融入深度学习的最新进展,提升了模型的精度、可扩展性和稳健性。尽管物理引导神经网络具有很强的通用性,但它们要求提前明确控制方程的完整机理结构,因此无法揭示真正未知的相互作用。所以在控制动力学仅部分已知的场景中,它们的应用就受到了限制,而这类场景在生物系统中十分常见。在这种情况下,物理引导神经网络可能会通过扭曲参数估计值或轨迹重建结果来归因于错误,以此弥补缺失的动力学信息。此外,它们还对噪声和部分可观测性较为敏感,因为训练过程通常假定能够直接测量所有相关状态。另外,它们也不提供可识别性保障,因此无法给出在何种正式条件下原则上可以恢复隐藏动力学的结论。这些局限性使得它们在知识碎片化且数据不完整的场景中难以应用,这就催生了能够处理部分不确定模型结构的新方法。为解决其中一些问题,通用物理引导神经网络通过引入一个辅助神经网络来表示隐藏的运算符,从而对物理引导神经网络进行了扩展[22]、[23]。这些研究证明,通用物理引导神经网络能够从稀疏、含噪声的数据中恢复缺失的项,并利用人工智能费曼回归将其以符号形式表达出来[24]、[25]。这些研究进一步通过引入量纲分析来提高效率与可解释性,并将通用物理引导神经网络应用于药理学领域,用于模拟化疗药物的作用机制。总体而言,这些研究凸显了在机理模型中加入可学习组件的巨大潜力,不过在部分可观测性条件下的可识别性问题仍然有待解决。我们想强调的是,如果参数是已知的,那么从概念上来说,问题就会简单得多,因为系统的已知部分可以被“减去”,只需对剩余部分进行拟合即可。这正是我们在[26]、[27]以及本文中所做的初步研究的动机。在这项工作中,我们通过嵌入式物理引导神经网络这一概念进一步拓展了物理引导神经网络的思想,这一概念最初是在[26]、[27]中提出的,它是一种全新的框架,由两个共享损失函数的神经网络组成,旨在利用定量时间序列数据更好地预测未知的动力学行为。虽然ePINNs在与PINN代理模型共同学习缺失动态方面与UPINNs有相似之处,但我们的贡献主要体现在三个方向:(1)我们引入了PUMS形式化方法,并证明了一个可识别性定理,该定理有助于区分未知参数的影响与未知动态的影响;(2)我们运用未知输入下可观测性理论中的技术,以理解在部分可观测性条件下参数和未知项何时能够被恢复;(3)我们将这一框架应用于一个具有部分且噪声较大的测量特征的合成生物学基因电路资源共享问题。我们认为,ePINNs在分析那些部分已知的生物系统中非常有用,可用于处理未知相互作用、难以测量的反应速率以及缺失数据等问题。第2.1节介绍了ePINNs,随后我们将其应用于基因电路资源共享问题。本文的结构如下:在第二章方法部分,我们介绍了作为合成生物学中资源竞争案例研究的生物学示例,以及ePINNs方法、相关算法和损失函数设计。同时,我们还提出了一个用于解决过度校正问题的理论框架。第三章结果部分通过模拟展示了如何运用ePINNs推断未知反应速率并预测案例研究中的未知动态,同时还给出了一个数学结论,有助于解释为何该示例是使用ePINNs建模的理想对象。文章最后是第四章的讨论部分。

**嵌入式物理信息神经网络(ePINNs)的定义**
通常,我们会考虑如(1)所示的系统,同时设定初始状态x(0)=x0以及输出y=h(x)。可测量的变量y=(y1,…,yl)通过输出函数h:Rn→Rl与系统状态相关联。在典型应用中,h为线性函数。我们用Rn表示n维欧几里得实数空间,用Rn×m表示所有n×m实数矩阵的集合。对于矩阵M,其转置记为M?。如1.4节所讨论的,这项工作依赖于嵌入式PINNs。

**研究结果**
在本节中,我们通过案例研究展示了如何运用ePINNs方法来学习隐藏机制并预测合成生物学资源竞争问题中的因果关系,同时我们还给出了PUMS可识别性结果的陈述与证明。通过这一案例研究,我们旨在探讨以下研究问题:
1. 系统可观测性:仅利用选定的输出测量值,能否准确预测所有状态的轨迹?

**讨论**
在本项工作中,我们引入了嵌入式物理信息神经网络(ePINNs)框架,将机理建模与数据驱动学习相结合,用于处理知识不完整的系统问题。通过将已知的系统动态与基于神经网络的推理相结合,ePINNs有效解决了那些反应机制或系统参数部分未知的生物系统建模难题。通过将ePINNs应用于合成生物学中的资源竞争研究,我们通过……证明了其有效性。

**致谢**
本研究部分得到了AFOSR FA9550-22-1-0316和ONR N00014-21-1-2431项目的资助,同时也得到了东北大学体验式人工智能研究所的资金支持。

**软件**
本报告中用于生成图表的程序存放于:https://github.com/sontaglab/epinn

**CRediT作者贡献声明**
Atefe Darabi:写作——审阅与编辑,写作——初稿撰写,软件,方法论,研究,形式分析,概念构建。Zheming An:写作——初稿撰写,软件,研究,形式分析,概念构建。Muhammad Ali Al-Radhawi:写作——初稿撰写,方法论,概念构建。William Cho:软件。Milad Siami:写作——审阅与编辑,指导,资金获取。Eduardo D. Sontag:写作——审阅与编辑,写作——初稿撰写。

**利益冲突声明**
作者们声明自己不存在任何可能影响本文所述工作的已知财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号