综述:图扩散模型:方法与应用的综合综述
《Computer Science Review》:Graph diffusion models: A comprehensive survey of methods and applications
【字体:
大
中
小
】
时间:2025年12月04日
来源:Computer Science Review 12.7
编辑推荐:
云涛·寿 | 魏爱 | 曹萌 | 李克勤
中南林业科技大学计算机与数学学院,410004,湖南长沙,中国
**摘要**
扩散模型作为生成建模的新范式,已经迅速崛起。因此,我们旨在提供对图扩散模型的全面综述。我们介绍了各种形式的扩散模型(即DDPMs、SDEs和SGM
云涛·寿 | 魏爱 | 曹萌 | 李克勤
中南林业科技大学计算机与数学学院,410004,湖南长沙,中国
**摘要**
扩散模型作为生成建模的新范式,已经迅速崛起。因此,我们旨在提供对图扩散模型的全面综述。我们介绍了各种形式的扩散模型(即DDPMs、SDEs和SGMs)、它们的工作原理以及如何将它们扩展到图数据中。具体来说,图扩散模型遵循扩散模型的建模过程,在图数据中实现扩散过程,并通过逆向步骤逐渐去噪并生成新的图结构。图扩散模型的应用主要集中在生成分子和蛋白质的场景中,但它们在推荐系统等领域也显示出潜力。我们探讨了图扩散模型在这些特定应用中的性能和优势,例如用于发现新药物和预测蛋白质结构。此外,我们还讨论了评估图扩散模型的问题及其面临的挑战。由于图数据的复杂性和多样性,生成样本的真实性是一个重要且具有挑战性的任务。我们分析了它们的局限性,并提出了潜在的改进方向,以更好地衡量图扩散模型的有效性。现有方法的总结可以在我们的Github上找到:https://github.com/yuntaoshou/Graph-Diffusion-Models
**1. 引言**
在过去的两年中,图像生成中的扩散方法[1]、[2]、[3]在图生成中受到了广泛关注,导致图扩散模型的研究活动显著增加,并出现了越来越多的新方法和技术[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]。如图1(a)所示,图像生成中的扩散模型通过逐步应用噪声和去噪过程来生成数据[19]。基本思想是通过多个噪声步骤逐渐将数据转换为纯噪声,然后通过逆向过程逐渐去噪以恢复有意义的数据。如图1(b)所示,图生成中的扩散模型[20]、[21]、[22]、[23]遵循类似的范式。该过程包括在几个步骤中向图的结构和特征添加噪声(正向过程),并学习将噪声图恢复到其原始形式(反向过程)[24]。尽管图扩散模型发展迅速,但它们也导致研究人员,特别是新进入者,面临信息过载的问题。新研究人员可能难以筛选出最具影响力的工作,并在理解和应用新方法时遇到挑战。为了帮助研究人员理解和区分不同的方法,有几篇关于图扩散生成的综述论文[25]、[26]。然而,它们大多侧重于当前研究状态的描述,缺乏对后续研究进展的数学理论分析。
**下载:** 下载高分辨率图像(586KB)
**下载:** 下载全尺寸图像
**图1. 图像和图上的扩散模型工作流程。** 右侧的箭头指示扩散过程的方向,显示了如何逐步将噪声注入真实数据以模拟从有序到无序的转变。在这个阶段,通过多次迭代逐渐向真实数据中添加噪声,最终成为纯噪声分布。在左侧箭头的引导下,展示了生成样本的采样阶段。这个阶段逆转了之前的扩散过程,从纯噪声开始,通过多次迭代逐渐去除噪声并重新生成样本。这个过程可以看作是从无序到有序的转变,通过多次迭代和计算逐渐恢复生成的样本,使其接近真实数据。
因此,基于上述分析,我们的综述是首次全面回顾图扩散模型研究的现状,涵盖了当前的主要研究方向和最新发展。如表1所示,我们的综述将图生成方法分为四类:传统图生成方法,包括四个子类别,即自回归模型(AR)[27]、规范化流(Normalizing Flows)[28]、VAE(VAE)[29]和GAN(GAN)[30];以及图扩散方法,包括三个子类别,即DDPMs(DDPMs)[20]、SGMs(SGMs)[19]、[31]和SDEs(SDEs)[32]、[33]。我们讨论了不同方法的理论基础、实际应用、优势和劣势,以便读者更好地了解每种方法的适用场景和局限性。我们将重点介绍图扩散模型领域的关键进展和突破,包括理论创新、实证性能的改进以及实际应用中的重要成果。我们希望这篇综述能为图生成领域的研究人员提供一个有用的参考,使他们能够快速了解图扩散模型的基本概念、最新进展和研究趋势。同时,我们也希望为经验丰富的研究人员提供更广阔的视角,帮助他们识别潜在的挑战。
**表1. 传统图生成方法和扩散模型的变体**
| 年份 | 方法 | 传统方法 | 自回归模型 | 规范化流 | 变分自编码器 | 生成对抗网络 |
|------|------------------|------------------|------------------|------------------|------------------|
| 2018 | GraphRNN | | | | |
| 2019 | MolecularRNN | | | |
| 2020 | ES-GraphRNN | | | |
| 2021 | GraphGen-Redux | | | |
| 2018 | VAE | DCRM [39], JT-VAE [40] | | |
| 2019 | ConGen [41], D-VAE [42] | | |
| 2020 | IMGDL [43], PCVAE [44], NECD [45], CBO-VAE [46], NeVAE [47], DGVAR [48] | | |
| 2021 | DLM [49], COVAE [50], DDGSN [51] | | |
| 2022 | IMGMC [52], DSG [53] | | |
| 2019 | GraphNVP [54] | | | |
| 2020 | MoFlow [55] | | | |
| 2021 | GraphDF [56] | | | |
| 2018 | LMGT [57] | | | |
| 2019 | CLGAN [58] | | | |
| 2020 | Mol-CycleGAN [59], TSGG-GAN [60] | | |
| 2021 | ALMGIG [61] | | | |
| 2022 | EDM [4] | GeoDiff [5], DiffBP [62], DiffSBDD [63], DiffAb [64], Anand [65], PROTSEED [66] | | |
| 2023 | MDM [67], Digress [68], TargetDiff [69], DIFFDOCK [70], SILVR [71], SMCDiff [72], HierDiff [73] | | |
| 2023 | RINGER [74], GeoLDM [75], Diffmol [76], DecompDiff [77], HouseDiff | | |
| 2023 | EDGE [24], EDGE++ [80], MCRDiff [81], SaGess [82], DIFUSCO [83] | | |
| 2024 | MDM, MiDi [84], GCDM [85], PMDM [86], TSDiff [87] | | |
| 2024 | DiffLinker [6], D3FG [88], GradeIF [89], GFMDiff [90], MUDiff [91], Pard [92] | | |
| 2024 | AbDiffuser [93], SPDiff [94], LatentDiff [95], DiffCSP [96], DiffCSP++ [97], HypDiff [98] | | |
| 2024 | GemsDiff [99], CrysDiff [100], CHP-MOFassemble [101], NAP [102], DDM [103], ILE [104] | | |
| 2025 | GBD [105], DiffGraph [106] | | | |
| 2020 | EDP-GNN [107] | | | |
| 2021 | ConfGF [108], ColfNet [109], DGSM [110], ProteinSGM [111] | | |
| 2022 | DiffPB [112], SLD [113] | | | |
| 2023 | DiffusionCG [114], DruM [115] | | |
| 2024 | VoxMol [116] | | | |
| 2022 | EEDSDE [117], GraphGDP [118], NVDiff [119] | | |
| 2023 | CDGS [120], DiffMD [121], EigenFold [122], JODO [123], MuDM [124] | | |
| 2023 | GSDM [125], DiffusionNAG [126], Diff-POI [127] | | |
| 2024 | NeuralPLexer [128], SD [129], DiffBindFR [130], HGDM [131], Graphhusion [9], ProGDM [132] | | |
**本文的贡献总结如下:**
• **全面综述:** 我们提供了对传统模型(即AR、规范化流、VAE和GAN)和图扩散模型(即DDPMs、SGMs和SDEs)在图生成方面的最全面综述。
• **深入分析:** 对每种建模方法,我们提供了一个代表性模型并给出了数学理论推导,以指导读者为其研究选择合适的基线模型。
• **丰富的资源:** 我们在Github上收集了有关图生成的相关资源,包括SOTA模型和公开可用的数据集。
• **未来方向:** 我们分析了现有图扩散方法的局限性,并从多个方面提出了可能的未来研究方向,包括训练目标、从2D到3D图生成的可扩展性以及数据分布。
本文的结构如下:第2节总结了传统图生成方法。第3节介绍了图扩散生成的背景和定义,并将图扩散生成方法分为三类,并给出了数学理论。第4节总结了一些公开可用和流行的图生成任务数据集。第5节讨论了图扩散模型在实际应用中的巨大价值和广阔前景。第6节讨论了图扩散模型的未来研究方向和挑战。最后,我们总结了这项工作。
**2. 传统图生成方法**
在本节中,我们简要回顾了传统图生成方法。我们将现有的传统图生成方法大致分为四类:自回归模型(AR)[27]、规范化流(Normalizing Flows)[28]、变分自编码器(VAE)[29]和生成对抗网络(GAN)[30]。
**2.1. 自回归模型**
AR [27]的基本思想是将图生成过程分解为一系列决策,每个步骤都基于之前的决策。首先,AR需要确定生成节点的顺序,这可以是随机顺序、节点度的顺序或其他启发式方法。然后按照确定的顺序逐个生成节点。每个节点的生成可以基于之前生成的节点的信息。对于每个生成的节点,依次决定它与所有先前节点之间是否存在边。这个决策可以通过基于已生成图的部分计算的条件概率来做出。在现有的工作中,GraphRNN [34]是一个基于RNN的自回归模型,它将图生成过程建模为节点和边的序列生成过程,并使用RNN来捕获结构信息。ESGraphRNN [36]将图生成过程建模为逐边预测过程。ESGraphRNN通过最大化似然估计进行训练,模型学习生成图的概率。训练过程中使用了教师强制策略,即在生成的每一步都使用真实的先前边信息。自回归方法通常适用于生成具有固定顺序和依赖性的图结构。对于没有明显顺序或不规则结构的图,自回归方法的效果可能不理想[133]。
**2.2. 规范化流**
规范化流[28]是一种将简单分布(通常是标准正态分布)逐渐转换为复杂分布的技术。它通过一系列可逆变换将简单分布样本映射到复杂分布中。在图生成任务中,规范化流将简单的先验分布(如高斯分布)通过一系列可逆变换映射到图结构分布中,从而实现图生成。例如,GraphNVP [54]是一个将规范化流应用于分子图生成的模型。通过一系列可逆变换,简单分布被映射到分子图的复杂分布中,从而实现高效的分子图生成。MoFlow [55]提出了一种新的可逆流模型用于图生成和优化。通过将分子图的属性映射到潜在空间并通过流模型进行建模来实现分子生成。规范化流的训练涉及对对数似然估计的优化,训练过程可能不稳定,尤其是在处理高维数据时,可能会导致数值不稳定和梯度消失等问题[56]、[134]。
**2.3. 变分自编码器**
在图生成任务中,VAE [29] [135]将图的结构信息编码到潜在空间中,然后解码以生成新的图结构。例如,GraphVAE [136]使用变分自编码器框架结合图的节点和边属性信息来实现小规模图生成。MolVAE [137]是一个变分自编码器模型,它将分子图的结构信息编码到潜在空间中,并通过解码器生成新的分子图,有效地生成分子结构。为了实现从潜在空间的采样和梯度传递,MolVAE使用了重新参数化技术。通过将潜在变量的采样过程分解为确定性变量和随机噪声,可以实现有效的梯度传递。VAE的重建质量通常低于其他生成模型,例如GAN [30]。这是因为VAE需要在训练过程中平衡重建损失和KL散度正则化,导致生成的图质量可能不高[42]、[47]。
**2.4. 生成对抗网络**
GAN [30]由生成器和鉴别器组成。生成器从噪声向量(例如高斯分布或均匀分布)中采样以生成图的节点和边结构。鉴别器将真实图和生成的图作为输入,并输出一个概率,表示输入图是真实图的概率。例如,NetGAN [138]使用随机游走来生成序列,然后用于生成图。生成器通过随机游走来生成图的局部结构,鉴别器区分真实图和生成的随机游走序列。MolGAN [139]是一个用于分子图生成的GAN模型。生成器生成分子图的节点和边属性,鉴别器确定生成的分子图是否与真实分子图相似。此外,MolGAN还使用奖励网络来优化生成器以实现特定目标(例如药物活性)。GAN的训练过程容易不稳定。生成器和判别器的训练不平衡可能导致生成质量较差或模式崩溃,即生成器生成的图形缺乏多样性[41]。3. 扩散模型背景扩散模型是一种生成模型,它通过逐渐添加噪声来破坏数据分布,然后通过反向去噪过程恢复数据分布。扩散模型在图像生成和文本生成等领域受到了广泛关注。扩散模型主要有三种子类型:DDPM、SGMs和SDEs。3.1. 去噪扩散概率模型(DDPMs)DDPM [20]是一种生成模型,它通过逐渐添加噪声来破坏数据,然后通过学习反向过程逐渐去噪来重建数据。在DDPM中,前向过程是一个固定的马尔可夫链,从原始数据开始,逐渐添加高斯噪声,直到它变成纯噪声。前向过程旨在通过逐渐添加高斯噪声将输入数据转换为标准高斯分布[67],[84]。具体来说,对于数据分布m0~q(m0),前向过程是在数据m0和mT之间定义的马尔可夫链,可以正式表示为:(1)?q(m1:T|m0)?∏t=1Tq(mt|mt?1),?q(mt|mt?1)?N(mt;1?βtmt?1,βtI),其中β是每个时间步添加的噪声的方差。假设?αt?1?βt和?α?t?∏s=0tαs,我们可以得到:(2)?q(mt|m0)?N(mt;α?tm0,(1?α?t)I)反向过程。反向过程使用训练好的网络来预测前向过程中添加的噪声[62],[85]。具体来说,首先从分布p(T)中采样一个初始噪声样本mT。接下来,使用训练好的神经网络逐渐去除添加的噪声。通过上述步骤,网络被训练来恢复样本mt到mt?1。(3)pθ(mt?1|mt)=N(mt?1;μθ(mt,t),Σθ(mt,t)),其中μθ(mt,t)是均值函数,用于计算从mt恢复到mt?1的均值。Σθ(mt,t)是神经网络输出的方差函数,用于计算从mt到mt?1的方差。通过最小化从mT到m0的重建误差,我们可以优化神经网络以生成与真实数据分布q(m0)一致的新样本。训练目标是最大化pθ(m0),这可以通过最小化其负对数似然来实现[63],[70]。变分下界可以分解为一系列KL散度项:(4)L(θ)=Eq?logpθ(m0|m1)+∑t=2TKL(q(mt?1|mt,m0)∥pθ(mt?1|mt))+KL(q(mT|m0)∥p(mT))在实践中,上述目标通常会被简化。一个常见的简化目标是直接优化重建误差(即去噪过程的预测误差),这可以通过重写KL散度项并简化方差假设来实现[1],[80]。因此,最终的优化目标可以正式定义为:(5)L(θ)=Eq(mt|m0)∥???θ(mt,t)∥2,其中?是添加的高斯噪声,?θ是神经网络预测的噪声。用于图生成的DDPMs [20]遵循类似的范式。该过程涉及在几个步骤中向图的结构和特征添加噪声(前向过程)并学习将带噪声的图恢复到其原始形式(反向过程)。这种概率框架允许生成具有高保真度的复杂图结构。接下来我们总结了几项使用DDPMs进行图生成的代表性工作。3.1.1. 等变扩散模型(EDM)如图2所示,EDM [4]是一种专门设计用于保持数据中的对称性或不变性的生成模型(例如,旋转或平移不变性)。EDM在分子图生成中特别有用,因为生成结构的属性必须在对称变换下保持不变。我们定义具有原子特征hi的坐标mi为一个等变扩散过程,该过程向数据添加噪声并保持对称性。假设一组具有空间位置信息和特征信息的点(mi,hi),其中每个节点与其坐标表示mi∈R3和属性向量hi∈Rd相关联。潜在特征向量zt=[ztm,zth]的前向等变噪声过程定义如下:(6)q(zt|m,h)=Nmh(zt|αt[m,h],σt2I),其中Nm是噪声坐标分布Nm和噪声特征分布Nh的乘积。Nh定义如下:(7)Nm(zt(m)|αtm,σt2I)?N(zt(h)|αth,σt2I)下载:下载高分辨率图像(205KB)下载:下载全尺寸图像图2. EDM [4]的整个过程示例。通过逐步去噪过程,EDM将一个正态分布的随机点集转换为具有特定3D坐标和原子类型的分子结构。旋转等变性确保了生成分子的方向独立性,使得生成的分子在空间旋转时仍然保持其结构的稳定性和生成概率。为了在生成过程中去噪,我们定义了一个基于噪声后验分布q(zs|m,h,zt)的去噪过程,其中数据变量m,h被神经网络的近似值m?,h?替换。去噪过程的核心思想是估计噪声后验分布中的参数,从而有效地去除噪声并恢复原始数据[1],[2]。具体来说,去噪过程定义如下:(8)p(zs|zt)=Nmh(zs|μt→s([m?,h?],zt),σt→s2I)生成去噪过程依赖于中间变量zt和神经网络的输出预测?来逐渐去除噪声。在现有的扩散模型[62],[85],[86]中,通常使用噪声参数化来获得最终预测m?和h?。具体来说,模型不直接输出这些预测,而是输出与噪声相关的参数估计。从参数估计中,我们可以推断出实际预测。换句话说,网络?不直接预测数据的最终形式,而是输出噪声估计??=[??(m),??(h)]。这包括对当前时间步输入数据的噪声估计。m?,h?的计算过程如下:(9)[m?,h?]=zt/αt???t?σt/αt最终的优化目标可以正式定义为:(10)Lt=E?t~Nmh(0,I)[12w(t)∥?t???t∥2],其中w(t)=(1?αt?11?αt?1)/αt1?αt,??t=?(zt,t)。3.1.2. 离散去噪扩散(DiGress)DiGress [68]主要用于生成离散结构数据(例如,分子图、社交网络等)。DiGress的主要思想是使用扩散过程将复杂的图生成任务分解为多个简单的逐步生成步骤。通过在图生成过程中逐渐去除噪声,确保生成的图结构有效且具有目标属性[64]。与图像的扩散模型类似,DiGress分别对每个节点和边特征进行扩散。对于节点类型X和边类型E,转移概率定义为[PXt]ij=q(mt=j|mt?1=i)和[PEt]ij=q(et=j|et?1=i)。在每个时间步t,我们通过向节点和边添加噪声来形成Gt=(Xt,Et)。DiGress从以下分类分布中采样:(11)q(Gt|Gt?1)=(Xt?1PXt,Et?1PEt)q(Gt|G)=(XP?Xt,EP?Et),其中PXt={PX1...PXt}和P?Et={PE1...PEt}。然后DiGress将带噪声的图Gt=(Xt,Et)输入到去噪神经网络?θ中,其中Xt表示噪声节点特征,Et表示噪声边特征。神经网络?θ通过计算预测干净的节点和边特征(pX,pE)。为了使预测值(pX,pE)更接近真实值(X,E),DiGress使用交叉熵(CE)损失来衡量差异:(12)l(p?G,G)=∑1≤i≤nCE(mi,p?iX)+λ∑1≤i,j≤nCE(eij,p?ijE),其中λ∈R+是一个超参数。当去噪网络?θ训练完成后,DiGress使用它来采样新图。具体来说,DiGress如下对节点和边的分布进行建模:(13)pθ(Gt?1|Gt)=∏1≤i≤npθ(mit?1|Gt)∏1≤i,j≤npθ(eijt?1|Gt)为了计算每个项,DiGress对这些概率分布进行边缘化。具体来说,对于每个节点和边特征,DiGress如下计算边概率:(14)pθ(mit?1|Gt)=∑m∈Xpθ(xit?1∣mi=m,Gt)p?iX(m),其中Gt?1的所有可能状态与当前预测概率p?G结合并求和以获得边缘化概率分布,以及(15)pθ(mit?1∣Gt)=q(mit?1∣mi=m,mit)如果q(mit|mi=m)>0,否则为0。类似地,pθ(eijt?1|eijt)=∑e∈Epθ(eijt?1∣eij=e,eijt)p?ijE(e)。3.1.3. 具有离散状态空间的扩散(DDSS)DDSS [140]专注于简单图的生成过程。通过由离散过程表示的扩散模型,它可以有效地模拟图结构的生成过程,并在各种应用中提供高质量的生成样本[65],[87]。DDSS的核心在于前向过程和反向过程的有效结合,这使得生成模型不仅可以添加噪声,还可以有效地去除噪声,从而生成符合目标分布的高质量样本。在图生成模型中,DDSS首先为邻接矩阵Θt中的元素(i,j)定义一个独热编码的行向量aijt。这个向量属于集合{0,1}2。初始邻接矩阵Θ0是直接采样的样本,ΘT代表一个Erd?s–Rényi随机图[141]。前向过程通过重复将每个邻接矩阵元素的类型行向量q(atij|atij)=Cat(atij|p=at?1ijQt)与双重随机矩阵Qt相乘,从A0逐步添加噪声来实现。Cat代表一个分类分布,其参数p由前一个时间步的独热编码行向量aijt?1和矩阵Qt的乘积确定。在前向过程中,每个边或非边i≠j的操作是独立的,这意味着我们可以并行处理这些元素,从而提高计算效率。矩阵Qt是一个R2×2的双重随机矩阵,用于模拟不同时间步之间邻接矩阵元素的转移概率。具体来说,Qt定义如下:(16)Qt=1?δtδtδt1?δt,其中δt表示边状态的不变概率。方程(16)的一个重要优点是它可以直接从扩散过程中采样,而不依赖于任何先前时间步的计算。正式地,δ可以表示为δt=12?12∏i得分函数为我们提供了关于如何在每个时间点调整m的信息,使得逆向模拟成为可能。得分匹配的核心思想是通过网络[32]、[107]来近似数据分布的梯度。为了估计?mlogpt(m),SGMs将得分匹配方法推广到时间域,并引入了一个基于时间的得分网络,该网络可以捕捉数据分布随时间的动态变化。具体来说,优化目标定义如下:(21)??=argmin?Et{γ(t)Em(0)Em(t)|m(0)[∥s?(m(t),t)??m(t)logp0t(m(t)∣m(0))∥22]}其中γ:[0,T]?R>0是一个正权重函数,它可以在训练过程中平衡不同时间步的得分函数,从而更稳定地学习数据分布的动态变化。时间t的数据点m(t)来自条件分布p0t(m(t)∣m(0))。SGMs遵循与图像生成任务相同的范式。首先,明确要生成的图数据的分布,目标是从这个数据分布中生成新的图[19]、[32]、[107]。为了利用得分匹配方法,原始图数据会添加不同程度的噪声来构建一系列带噪声的图。接下来,训练一个得分网络来估计每个噪声级别下图数据的梯度。得分函数的目标是指导如何从带噪声的图中恢复原始图。一旦得分网络训练完成,就可以通过逐渐去噪将其恢复为原始图的形式。接下来我们总结了几项使用SGMs进行图生成的代表性工作。
3.2.1. 通过SDE系统的图扩散(GDSS)
GDSS [32]提出了一种基于得分的新图生成模型,该模型采用连续时间框架,通过图扩散过程和SDE系统成功地对图的联合分布进行了建模。定制的得分匹配目标和新SDE求解器使得模型能够在逆向扩散过程中有效地采样和生成新图。结果表明,GDSS不仅生成了接近训练分布的图,而且在化学分子生成任务中保持了化学价规则,展示了其在建模复杂图数据方面的潜力和有效性。如图3所示,GDSS(绿色)可以通过其扩散过程有效地捕捉特征和结构之间的潜在关系,从而生成新的样本。GDSS-seq(红色)采用逐步生成方法,即依次生成特征X和邻接矩阵Θ。EDP-GNN [107]框架仅生成邻接矩阵Θ,而节点特征X直接从训练数据中采样。与GDSS和GDSS-seq的连续时间扩散过程不同,EDP-GNN中的节点特征是静态采样的。
下载:下载高分辨率图像(205KB)
下载:下载全尺寸图像
图3. GDSS的整体过程示意图。正向扩散过程涉及在连续时间内向图数据添加噪声,有效地扰动图的结构和节点特征。逆向过程通过逐渐去除噪声来重建原始图数据[32]。
正向图扩散。正向图扩散是一个使用定义在图结构上的SDE系统来描述图中信息传播的过程[117]。扩散过程可以捕捉复杂的关系和拓扑结构。具体来说,正向图扩散可以用以下SDE系统表示:(22)dXt=fX(Xt,t)dt+σX,tdBtXdΘt=fA(Θt,t)dt+σΘ,tdBtΘ其中Xt是时间t的特征表示。fX(Xt,t):Rn×n?Rn×n是漂移项,描述节点特征和邻接矩阵的变化。漂移项可以包括节点本身的特征更新以及与相邻节点的交互。σX,t,σΘ,t是扩散系数,描述特征的随机波动。BtX,BtΘ是标准布朗运动,表示随机扰动。
逆向图扩散。用于描述逆时间图中信息扩散过程的随机微分方程[32]。扩散过程通常涉及节点特征的确定性变化和随机扰动,以捕捉复杂的关系。具体来说,逆时间图扩散的随机微分方程可以表示为:(23)dX?t=fX(X?t,t)?σX,t2?Xlogpt(X?t,Θ?t)dt?+σX,tdB?tXdΘ?t=fΘ(Θ?t,t)?σΘ,t2?Θlogpt(X?t,Θ?t)dt?+σΘ,tdB?tΘXt⊥Θt|G0意味着给定初始条件G0,状态变量Xt和Θt彼此独立。因此,联合概率密度函数pt|0(X?t,Θ?t)可以分解为两个独立的部分:一部分是与Xt和初始状态X0相关的pt|0(Xt|X0),另一部分是与Θ0和初始状态Θ0相关的pt|0(Θt|Θ0)。这种分解形式大大简化了联合概率密度函数Gt|G0在去噪得分匹配目标函数中的复杂计算和估计,并降低了计算复杂性。简化形式定义如下:(24)E?(θ)?EG~Unif(S)EGt|G∥sθ(Gt)??logpt|0(Xt|X0)∥2E?(?)?EG~Unif(S)EGt|G∥s?(Gt)??logpt|0(Θt|Θ0)∥2方程(24)中的期望值可以使用蒙特卡洛估计来计算。应该注意的是,估计部分得分并不等同于估计?Xtlogpt(Xt)或?Θtlogpt(Θt)。具体来说,估计部分得分需要考虑时间t时Xt和Θt的联合分布,而不仅仅是单独考虑其中一个变量的边际分布。这个联合分布的得分函数更为复杂,因为它涉及两个变量之间的动态关系,而不仅仅是单个变量的静态属性。通过使用方程(24)的目标,剩下的任务是找到一个学习图底层分布的部分得分模型。该模型需要足够灵活和表达能力强,以捕捉时间t时Xt和Θt之间的复杂关系,同时能够准确估计不同时间点上联合分布的得分函数。因此,GDSS提出了一种新的基于得分的模型架构。这种新架构旨在提高模型的表达能力,使其能够更好地学习和估计图的底层分布的部分得分,从而实现更准确的采样和推理。
下载:下载高分辨率图像(134KB)
下载:下载全尺寸图像
下载:下载高分辨率图像(132KB)
下载:下载全尺寸图像
具体来说,GDSS提出了一种基于图注意力网络[143]、[144]、[145]、[146]、[147]、[148]的新时间基得分模型架构,该架构可以捕捉Xt和Θt之间的时变依赖关系,并区分节点之间的重要关系。此外,GDSS还使用高阶邻接矩阵来表示长距离依赖关系。高阶邻接矩阵可以捕捉图结构中远距离节点之间的相互影响,这对于建模复杂的时间依赖关系至关重要。具体来说,GDSS首先构建基于得分的模数s?,t来估计与Θt相同维度的?Θtlogpt(Xt,Θt),如下所示:(25)s?,t(Gt)=MLP{GMHHi,Θtp}i=0,p=1K,P其中H0=Xt, Hi+1=GHM(Θt,Hi),GHM是一个GCN层。GDSS还使用MLP来提高节点特征的线性表示能力,如下所示:(26)sθ,t(Gt)=MLP([{Hi}i=0L])接下来,GDSS使用训练好的得分模型s?,t和sθ,t分别估计Xt和Θt的得分。通过将这些两个得分模型应用于逆时间SDE系统,GDSS可以逐渐近似逆向扩散过程。具体来说,在每个时间步骤,GDSS使用sθ,t和s?,t来计算当前状态的得分,并根据逆时间SDE更新状态,如下所示:(27)dXt=f1,t(Xt)dt?+g1,tdw?1?g1,t2sθ,t(Xt,Θt)dt?dΘt=f2,t(Θt)dt?+g2,tdw?2︸F?g2,t2s?,t(Xt,Θt)dt?︸S根据对称Trotter定理[149]的结果,可以看出从t到t?δt/2的校准状态Gt′的传播遵循方程(27)的动态。具体来说,方程(27)可以通过将eδt2L?F?eδtL?S?eδt2L?F?应用于Gt′来近似:(28)eδt2L?F?G=G?~pt,t?δt/2(G?|G)GDSS优化和采样过程的伪代码分别显示在算法1和算法2中。
3.2.2. 图谱扩散模型(GSDM)
GSDM [125]认为在整个邻接矩阵空间上运行全秩扩散SDE会消耗大量计算资源和时间。具体来说,邻接矩阵通常是稀疏的,但全秩扩散SDE需要处理整个矩阵,这会导致计算负担大大增加,尤其是在处理大规模图数据时。此外,全秩扩散SDE引入了大量噪声,这会对图的拓扑结构造成不必要的扰动,使得难以准确捕捉图的真实拓扑结构,从而导致生成数据的质量下降。因此,GSDM设计了一种新颖的图谱扩散模型。GSDM的核心思想是通过图的特征分解来捕捉图结构信息,并通过扩散过程传播节点特征或标签信息。具体来说,图谱特征分解是对拉普拉斯矩阵进行特征值分解以获得特征值和特征向量。对于图G=(V,E),其中V是节点集,E是边集,拉普拉斯矩阵L定义为L=D?Θ。对拉普拉斯矩阵L进行特征值分解得到L=UΛUT,其中U是特征向量矩阵,Λ是对角特征值矩阵。通过扩散过程,可以平滑图中的节点特征。使用图的特征向量U和特征值Λ,我们可以通过SDE系统定义正向谱扩散,如下所示:(29)dXt=fX(Xt,t)dt+σX,tdBtX,dΛt=fΛ(Λt,t)dt+σΛ,tdWtΛ其中t∈[0,1]是时间参数,(X0,A0)~G,Θ0=U0Λ0U0?,fX(?,t)是漂移函数,fΛ(?,t)是谱的漂移函数。σX,t,σΛ,t是扩散系数,描述特征的随机波动。BtX,BtΘ是标准布朗运动或维纳过程,表示随机扰动。WtΛ?diag(BtΛ)是对角布朗运动。通过定义Θt?U0ΛtU0?的演化过程,并使用n维高斯过程来驱动特征值的变化,我们可以有效防止邻接矩阵在整个空间中任意扩散。在此基础上,建立了逆时间谱扩散随机微分方程,可以逐渐逆转邻接矩阵的损坏过程并生成与原始图类似的高质量图数据。具体来说,逆时间谱扩散SDE系统定义如下:(30)dX?t=fX(X?t,t)?σX,t2?Xlogpt(X?t,Λ?t)dt?+σX,tdB?tXdΛ?t=fΛ(Λ?t,t)?σΛ,t2?Λlogpt(X?t,Λ?t)dt?+σΛ,tdW?tΛ其中dt?=?dt是无穷小时间步长。对(X1,Λ1)的联合分布施加边界条件,使得初始时间t=1时节点特征(X1和特征值矩阵Λ1)的联合分布与先验分布π相同。GSDM可以使用逆时间谱扩散SDE从先验分布π中恢复真实分布(X0,Λ0)。根据得分匹配技术,通过最小化损失函数来训练两个得分网络sθ(?,?,?)和s?(?,?,?),使它们分别近似两个得分函数?Xlogpt(X,Λ)和?Λlogpt(X,Λ),如下所示:(31)E?(θ)?EG~Unif(S)EXt|G∥sθ(Xt,Λt,U0)??logpt|0(Xt|X0)∥2E?(?)?EG~Unif(S)EΛt|G∥s?(Xt,Λt,U0)??logpt|0(Λt|Λ0)∥2GDSS优化和采样过程的伪代码分别显示在算法3和算法4中。
3.3. 随机微分方程(SDEs)
SDEs [32]通过连续时间随机过程实现正向和反向扩散过程。SDE模型将扩散过程描述为连续随机过程,而不是离散时间步骤[150]、[151]。具体来说,数据点通常通过SDEs [117]从数据空间逐渐扩散到高斯噪声空间。
正向过程:正向过程通过SDE [60]将数据扰动为噪声。方程定义如下:(32)dXt=f(Xt,t)dt+g(t)dWt
反向过程:反向过程通过逆时间SDE [117]将噪声转换回数据。这个过程是正向过程的逆操作,逐步去除添加的数据噪声并重建清晰的图像或数据。方程定义如下:(33)dXt=f(Xt,t)?g(t)2?xlogpt(Xt)dt+g(t)dW?t其中?xlogpt(Xt)是数据的梯度信息,有助于指导反向过程。由于在实际计算中难以处理连续SDEs,因此使用离散化方案(例如Euler–Maruyama)将SDE离散化为一系列时间步长更新过程,并用来近似求解SDE。离散化过程定义如下:(34)Xt+Δt=Xt+f(Xt,t)Δt+g(t)ΔtZSDEs在图生成中的应用提供了一种有效的方法,通过定义节点和边的扩散过程来生成目标图结构[129]、[142]。得益于SDEs和扩散模型的发展,图生成任务在许多领域取得了显著进展,并展示了广泛的应用前景[33]、[113]、[152]、[153]、[154]、[155]、[156]。接下来我们总结了几项使用SDEs进行图生成的代表性工作。
3.3.1. 条件扩散图结构(CDGS)
理解底层分布不仅需要准确建模分子结构的复杂分布,还需要能够快速生成满足实际需求的新分子图。为了解决这一挑战,CDGS [120] 提出了一种条件扩散模型来生成分子图。如图4所示,CDGS 构建了一个前向图扩散过程和内在特征,并使用随机微分方程(SDEs)来描述这些特征,然后推导出离散图结构作为反向生成过程的条件。下载:下载高分辨率图像(103KB)下载:下载全尺寸图像图4. 一个示例,说明了整个CDGS过程 [120]。具体来说,给定一个图 G=(Θ,X),节点特征矩阵 X 由一个 F 维实向量表示。边信息矩阵 Θ 描述了图中的边连接和类型。图的前向扩散过程可以用 SDE 来描述,时间变量 t∈[0,T] 表示扩散过程的时间尺度,从初始状态 t=0 开始,到最终状态 t=T 结束,如下所示:(35)dGt=f(t)Gtdt+g(t)dwt其中 f(t)=dlogαtdt 表示漂移系数,g2(t)=dσt2dt?2dlogαtdtσt2 是扩散系数。相应地,反向时间的 SDE 形式定义为:(36)dGt=[f(t)Gt?g2(t)?Glogqt(Gt)]dt+g(t)dw?t为了简化上述步骤,CDGS 将其分为两部分,这两部分共享相同的漂移系数和扩散系数:(37)dXt=[f(t)Xt?g2(t)?Xlogqt(Xt,Θt)]dt+g(t)dw?t1dΘt=[f(t)Θt?g2(t)?Θlogqt(Xt,Θt)]dt+g(t)dw?t2CDGS 使用一个网络 ?θ(Gt,Θ?t,t) 和离散图结构条件来参数化得分。具体来说,神经网络 ?θ 接受图 Gt 及其离散图结构 Θ? 和时间 t 作为输入,并生成节点和边的估计值。节点输出 ?θ,X(Gt,Θ?t,t) 对应于节点特征的梯度估计,捕捉节点特征的变化方向。边输出 ?θ,Θ(Gt,Θ?t,t) 对应于边特征的梯度估计,捕捉边特征的变化方向。训练目标是通过最小化以下损失函数来优化的:(38)minθEt{w(t)EG0EGt|G0[∥?θ,X(Gt,Θ?t,t)??X∥22+∥?θ,A(Gt,Θ?t,t)??Θ∥22]}其中 ?X, ?θ 表示高斯噪声,Gt=(αtX?0+σt?X,αtΘ0+σt?Θ)。为了生成参数化的 SDE 图,需要一个数值求解器来模拟 SDE 轨迹。与 EM 求解器相比,使用概率流常微分方程(ODE)求解器的优势在于它可以利用先进的 ODE 求解算法(例如,Runge–Kutta 方法 [157])来显著减少采样步骤的数量,同时保持高精度,从而实现快速采样。在具体实现过程中,CDGS 可以将上述概率流 ODE 方程应用于黑盒 ODE 求解器,并通过优化求解过程生成高保真图。因此,图的参数化 ODE 形式定义为:(39)dGt/dt=f(t)Gt+g2(t)2σt?θ(Gt,Θ?t,t)传统的黑盒 ODE 求解器 [32] 通常无法识别和利用概率流 ODE 的半线性结构,这导致在求解过程中进行许多不必要的计算,增加了时间复杂性和计算成本。因此,CDGS 基于半线性 ODE 结构进一步扩展了快速求解器。通过重新定义时间变量并将图扩散过程参数化,ODE 求解器能够利用半线性结构来优化求解过程。具体来说,通过引入时间变量 λ 将时间变量从 t 更改为 λ,且 ?λt?log(αt/σt),t=tλ(λ(t)),?G?λ?Gtλ(λ),???θ(G?λ,Θ?λ′,λ)??θ(Gtλ(λ),Θ?tλ(λ),CDGS 能够在新的时间尺度上操作,使方程形式更适合使用半线性结构进行快速求解。因此,半线性概率流 ODE 的精确解如下:(40)Gt=αtαsGs?αt∫λsλte?λ??θ(G?λ,Θ?λ′,λ)dλ初始图 ?G?t0?GT?=(XT,ΘT) 从先验分布中采样,节点特征为 XT,边信息为 AT。在每个时间步 ti,使用一阶 GDPMS 迭代计算 {G?ti=(X?ti,Θ?ti)}i=1M,如下所示:(41)X?ti=αtiαti?1X?ti?1?γi??θ,X(G?ti?1,Θ?ti?1′,ti?1)Θ?ti=αtiαti?1Θ?ti?1?γi??θ,Θ(G?ti?1,Θ?ti?1′,ti?1)其中 γi=σti(eλti?λti?1?1)。概率流 ODE 将输入图数据映射到一个潜在空间 [20]。这个潜在空间由参数化的 ODE 决定,其属性允许灵活地操作和转换数据 [1]。图 DPM 求解器结合梯度引导技术,能够在潜在空间中高效搜索和优化。梯度引导辅助求解器利用潜在表示的梯度信息来帮助找到满足特定约束的最优解。通过在潜在空间中定义相似性约束,CDGS 可以确保优化过程中的分子仍然保留其原始的化学性质和功能。结合上述方法,CDGS 提出了一种优化过程,可以有效找到满足潜在空间中相似性约束的最优分子。具体来说,CDGS 在噪声图上训练一个时变图属性预测器 Rψ(Gt,t) 来估计不同时间步的图属性。方程 (39) 中的参数化 ODE 求解器用于将初始分子图映射到潜在空间中的编码 Gtξ。这个映射过程涉及时间步长 tξ 的调整。根据常见的潜在空间优化方法 [40],[55],图属性预测器用于预测属性,图的属性通过梯度上升优化生成潜在图序列 {Gtξk}k=0K。在解码过程中,引入了梯度引导的 ODE 将潜在图解码到分子图空间。在这个过程中,使用 ?GRψ(Gt,t) 的梯度项来指导采样过程,以确保生成的图具有所需的高属性。引导 ODE 可以从方程 (39) 修改为如下形式:(42)dXt/dt=f(t)Xt+g2(t)2σt[?θ,X?rσt?X?Rψ]dΘt/dt=f(t)At+g2(t)2σt[?θ,Θ?rσt?Θ?Rψ]4. 复杂性和可扩展性分析在本节中,我们分析了代表性的图生成模型家族,包括基于 VAE 的、基于 GAN 的、自回归的和基于扩散的模型,从时间复杂性、空间复杂性、随图大小的可扩展性以及理论收敛性保证等方面进行比较。表 2 总结了这些模型家族的复杂性特征和收敛性质。表 2. 代表性图生成模型的复杂性和可扩展性比较。这里 n 是节点数,m 是边数,d 是嵌入维度,T 是扩散步数。模型家族时间复杂性空间复杂性可扩展性(关于图大小)基于 VAE 的O Nd2+mdO Nd+m中等(可扩展到 10^5 个节点,操作稀疏)基于 GAN 的O Nd2+mdO Nd+m有限(训练不稳定性随图大小增加)自回归(AR)O(n2d)O(n2)较差(顺序解码妨碍大图)基于扩散的O(T?f(n,m,d)),通常为 O(Tn2)O Nd+m有限(大 T 和 n2 成本高);通过稀疏/活跃节点方法改进时间和空间复杂性。对于基于 VAE 和基于 GAN 的模型,主要成本来自图神经网络(GNN)编码器和解码器中的消息传递,导致时间复杂性为 O Nd2+md,其中 n 是节点数,m 是边数,d 是嵌入维度。在稀疏邻接表示下,它们的内存占用为 O Nd+m。然而,自回归模型需要顺序预测节点或边的概率,导致 O(n2d) 的复杂性和 O(n2) 的空间复杂性,这严重限制了它们对大图的可扩展性。基于扩散的方法产生迭代成本 O(T?f(n,m,d)),通常为 O(Tn2),其中 T 是扩散步数。这种迭代性质使得扩散模型在计算上要求较高,尽管最近的改进(如 EDGE [24])将每步成本降低到 O(min(K2,M)),其中 K 表示活跃节点数,M 表示边数。跨图大小的可扩展性。基于 VAE 的模型通常可以与稀疏操作结合,扩展到最多 10^5 个节点的图,而基于 GAN 的方法由于训练不稳定性而受到更多限制。自回归模型由于顺序解码的性质,在大图上的扩展性较差。基于扩散的方法原则上可以利用并行性,但它们对大 T 和二次方复杂性的依赖性对百万级网络构成了挑战。稀疏或子图基变体代表了有希望的解决方案。收敛性保证。基于 VAE 的模型受益于证据下界(ELBO),确保了原则性的优化目标。自回归模型提供精确的似然训练,但在推理过程中可能会遭受暴露偏差。基于 GAN 的模型由于对抗动态而缺乏正式的收敛性保证。相比之下,基于扩散的模型在得分匹配框架下提供收敛性,连续时间 SDE/ODE 变体提供了更强的理论支持,尽管实际收敛性通常取决于数值稳定性。5. 实现挑战尽管图生成模型取得了快速进展,但实际实现仍然面临许多挑战。首先,大规模训练通常会导致大量内存消耗,特别是对于需要迭代去噪和中间特征存储的基于扩散的方法。已经广泛采用了梯度检查点、稀疏张量操作和小批量子图采样等技术来缓解这个问题。其次,自回归模型通常由于顺序解码速度慢而影响其对数万节点图的可扩展性。虽然提出了并行化策略和启发式节点排序方案,但其有效性仍然取决于数据集。第三,像基于 GAN 的模型这样的对抗框架在训练过程中往往不稳定,因为生成器和鉴别器之间的微妙平衡需要仔细调整和多次重启。最后,尽管基于扩散的方法具有灵活性,但由于去噪步骤众多,计算成本很高;高效的变体如快速采样调度器或稀疏/活跃节点扩散已经出现作为潜在的解决方案。6. 超参数敏感性另一个重要的实际方面是图生成模型对超参数选择的敏感性。不同模型的家族表现出直接影响收敛性和生成质量的临界参数。对于基于 VAE 的方法,潜在维度和正则化强度显著影响重建保真度和泛化之间的权衡。基于 GAN 的方法对学习率和生成器与鉴别器之间的相对更新频率非常敏感,如果平衡不当,很容易导致模式崩溃。自回归模型严重依赖于节点排序方案和上下文窗口大小,这两者都影响采样效率和似然估计。基于扩散的模型对去噪步骤数 T 和噪声调度选择特别敏感;步骤不足可能会降低样本质量,而步骤过多则会导致过高的计算成本。实际上,超参数调整通常需要广泛的经验搜索,小的偏差可能会导致性能波动。7. 流行的基准数据集在图生成研究中,使用标准数据集进行算法验证和性能评估非常重要。如表 3 所示,我们统计了一些常用的图生成数据集。接下来,我们简要描述每个图生成数据集。表 3. 流行的图生成基准数据集。我们统计了不同数据集的类型等。数据集维度类别图的数量(G)节点的数量(N)Community-small [107], [158]2D社交10011除了图结构之外,酶还包含属性信息(例如,节点的属性可能包括化学性质、几何信息等)。SBM-27:随机块模型-27(SBM-27)[163]是一个用于研究社区检测和图聚类算法的数据集。SBM-27是基于随机块模型生成的,该模型是一种常用的生成具有社区结构的随机图的统计模型。SBM-27数据集包含27个社区,每个社区代表图中的一个子群体。Planar-60:Planar-60数据集[163]、[164]由60个平面图组成。平面图可以在不交叉边的情况下绘制在平面上。Planar-60数据集中的图具有多样的结构特征,包括不同数量的节点和边等。AIDS:AIDS数据集[165]是化学信息学中一个著名的数据集,常用于分子图的分析和研究。AIDS数据集(AIDS抗病毒筛选数据)最初由美国国家癌症研究所(NCI)提供,用于评估化合物对HIV(人类免疫缺陷病毒)复制的抑制作用。AIDS数据集包含了数千种化合物的分子结构和生物活性信息。每种化合物的生物活性数据主要描述了其对HIV病毒的抑制作用。这些数据通常用二分类(活性或非活性)或多分类(根据不同的抑制程度)来表示。Synthie:Synthie数据集[166]是合成生成的,图的结构以及节点和边的属性可以根据需要进行调整。Synthie数据集包含多个图,每个图代表一个数据样本。由于图的生成方法是可控的,研究人员可以通过修改生成参数来创建不同难度和复杂性的图数据以进行测试。Proteins:Proteins数据集[167]包含一组蛋白质分子,每个分子都表示为一个图,其中节点代表氨基酸,边代表这些氨基酸之间的相互作用。Proteins数据集中的图直接反映了蛋白质分子的实际生物结构,并具有很高的生物学相关性。8. 评估指标8.1. 最大平均差异(MMD)评估生成图的质量需要超越视觉检查或简单平均统计的原理性统计距离。最大平均差异(MMD)已成为图生成中最广泛使用的指标之一,因为它在再生核希尔伯特空间(RKHS)中比较了两个经验分布的所有矩。形式上,使用核函数k(?,?),两个分布p和q之间的平方MMD为:(43)MMD2(p∥q)=Ex,x′~p[k(x,x′)]+Ey,y′~q[k(y,y′)]?2Ex~p,y~q[k(x,y)]直接计算整个图分布的距离是不可行的。因此,MMD通常是在选定的图统计量M={M1,…,Mk}上估计的,包括度分布、聚类系数分布和基序或轨道计数。这些统计量使用Wasserstein或RBF核等核函数进行嵌入,从而能够比较生成图和真实图之间的结构模式。领域相关性。MMD特别适用于社交网络和引用网络,在这些领域中捕捉结构保真度至关重要。在这些领域中,保持度分布反映了枢纽的存在和幂律连接性,而聚类系数表征了社区结构和小世界效应。同样,基序计数提供了对合作团体或引用循环的洞察,这对于真实的图合成至关重要。因此,MMD不仅作为一个通用的差异度量,还直接关联到社交和引用网络中的特定领域挑战:确保生成的图再现了支持网络连接性、社区形成和信息流的特征结构统计。8.2. Fréchet ChemNet距离(FCD)虽然MMD广泛用于评估社交和引用网络中的结构保真度,但Fréchet ChemNet距离(FCD)是专门为评估分子图生成的质量而设计的。FCD测量生成分子的分布p(?)与真实分子的分布pw(?)之间的距离,两者都嵌入到预训练的分子属性预测网络(ChemNet)的潜在表示中。通过从ChemNet的倒数第二层提取激活值,每个分子都被表示为一个特征向量。假设这些特征向量遵循高斯分布,计算生成集(m,C)和真实集(mw,Cw)的均值和协方差,Fréchet距离由以下公式给出:(44)d2((m,C),(mw,Cw))=∥m?mw∥2+Tr(C+Cw?2(CCw)1/2)直观地说,FCD评估了生成分子在特征空间中与真实分子的质量(接近程度)和多样性(生成分子的协方差是否与训练集匹配)。在实践中,足够大的样本大小(例如,≥5000个分子)确保了均值和协方差的稳定估计,使FCD成为分子分布对齐的可靠度量。领域相关性。FCD特别适用于分子图生成,因为它直接反映了生成模型捕捉真实化学特征的能力。与通用的图级指标不同,FCD利用了编码化学语义的特定于任务的预训练网络,确保生成的分子不仅在统计上类似于真实分子,还保留了关键的生化属性。例如,低FCD分数表明生成的分子与真实化合物具有相似的药效模式和亚结构基序,这对于下游的药物发现和材料设计任务至关重要。因此,FCD提供了一种领域感知的评估,它在生成建模中桥接了统计相似性和化学有效性。9. 实验性能如表4所示,我们首先从四个方面总结了现有的33种方法:生成方法、生成过程、排列和组合。接下来,我们将分析这些方法在不同图生成数据集上的性能。表4。我们根据我们的分类方法总结了现有的图生成方法。方法生成方法生成过程排列组合空白VAEGANFlowRNNEBMDiffusion一次性序列不变性生成图VAE [136]?–––––?–?–DeepGMG [168]–––?–––??–CGVAE [169]?––––––??–MolGAN [139]–?––––?–––RVAE [170]?–––––?–?–GCPN [171]–?–––––??–JT-VAE [40]?––––––??–MolecularRNN [35]–––?–––??–GraphNVP [54]––?–––?–?–TGCD [172]?–––––?–?–GRF [173]––?–––?–?–GraphAF [133]––?––––??–HierVAE [174]?––––––??–MoFlow [55]––?–––?–?–GraphCNF [134]––?–––?–?–GraphEBM [175]––––?–?–??GraphRNN [34]–––?–––??–GraphDF [56]––?––––??–GNF [176]––?–––?–?–EDP-GNN [107]–––––??–?–CCGG [177]?––––––??–GDSS [32]–––––??–?–ConGen [41]–?––––?–?–Digress [68]–––––??–?–GraphARM [178]?––––––??–EB-GFN [179]––?–––?–?–GPrinFlowNet [180]––?–––?–?–GRAN [181]–––?–––??–PPGN-Score [2]–––––??–?–SubspaceDiff [182]–––––??–?–WSGM [142]–––––??–?–SPECTRE [163]–?––––?–?–SGGM [113]–––––??–?–GSDM [125]–––––??–?–如表5所示,GPrinFlowNet [180]方法在图生成任务中表现良好,与基线方法相比取得了最佳性能。特别是与使用扩散的领先图生成方法GDSS [32]相比,GPrinFlowNet在Enzymes和Synthie数据集上的MMD分数分别降低了2.4倍和3.0倍。这些结果表明,GPrinFlowNet不仅能够生成与真实图结构高度相似的图,而且在保持图的统计属性方面也表现良好。与GDSS等扩散模型相比,GPrinFlowNet在捕捉图的结构和统计属性方面具有更高的准确性和效率。表5. 条件图生成数据集上的生成结果。空白AIDS Real. |V|≤95,|C|=2Enzymes Real. |V|≤125,|C|=6Synthie Synthetic. |V|≤100,|C|=4空白Deg.↓Clus.↓Orbit↓Avg.↓Deg.↓Clus.Orbit↓Avg.↓Deg.↓Clus.↓Orbit↓Avg.↓Autoreg.GraphRNN [34]0.2410.1430.0340.1390.0860.2940.3070.2290.2470.2850.4190.317GraphAF [133]0.1970.0930.0260.1050.0580.1740.1560.1290.1370.1760.3020.205GraphDF [56]0.1840.0850.0310.1010.0620.1960.2040.1541.6811.2650.2581.068空白GraphVAE [136]0.3580.2840.1270.2561.2490.6870.3810.7721.5541.0740.2320.953一次性GNF [176]0.2240.1590.0180.133–––––––EDP-GNN [107]0.1270.0820.0240.0770.0670.2410.2250.1770.1480.1850.3470.226CCGG [177]0.0970.0740.0350.0680.0430.1250.1170.0950.1070.1590.2360.167GDSS [32]0.0620.0490.0220.0440.0380.1580.1320.1090.1140.1260.2690.169CondGen [41]0.1380.1150.0320.0950.0650.1840.2130.1540.1510.1620.2950.202DiGress [68]0.060.0480.0210.0430.0330.1460.0850.0880.1090.0970.1580.121GraphARM [178]0.0570.0520.0160.0410.0310.0950.0610.0620.1280.0740.1270.109空白EB-GFN [179]0.0940.0870.0350.0720.0790.2130.2270.1730.1520.1640.3410.219空白GPrinFlowNet [180]0.0460.0310.0120.0290.0270.0620.0460.0450.0480.0420.0790.056在通用图生成方面,我们在表6中展示了实验结果,清楚地证明了GSDM [125]的优越性能。GSDM在多个关键性能指标上显著优于自回归和一次性基线,充分展示了其作为最佳图扩散模型的地位。此外,GSDM在生成质量和多样性方面也有所改进。GSDM在整个图数据空间中进行扩散,并通过利用谱方法,更有效地捕捉图结构中的复杂关系和特征,能够在更短的时间内生成高质量的图。实验结果进一步表明,GSDM在处理复杂图结构和生成真实有用的图数据方面尤为突出。表6. 基线方法在条件通用图生成数据集上的生成结果。空白社区-小EnzymesGrid空白合成,12≤|V|≤20真实,10≤|V|≤125合成,100≤|V|≤400空白Deg.↓Clus.↓Orbit↓Avg.↓Deg.↓Clus.↓Orbit↓Avg.↓Deg.↓Clus.↓Orbit↓Avg.↓Autoreg.DeepGMG [168]0.2200.9500.4000.523––––––––GRAPHARM [178]0.0340.0820.004–0.0290.0540.015––––GRAN [181]0.0010.0840.0280.020––––0.0010.0040.0020.016GraphRNN [34]0.0800.1200.0400.0800.0170.0430.0210.0430.0110.00.0010.012空白GraphAF [133]0.180.200.020.1331.6691.2830.2661.073––––空白GraphDF [56]0.060.120.030.0701.5031.0610.2020.922––––一次性GraphVAE [136]0.3500.9800.5400.6231.3690.6290.1910.7301.6190.00.9190.846PPGN-Score [2]0.0810.2370.2840.200––––––––GNF [176]0.2000.2000.1100.170––––––––DiGress [68]0.0090.1040.0510.0370.0040.0830.002–––––EDP-GNN [107]0.0530.1440.0260.0740.0230.2680.0820.1240.4550.2380.3280.340空白SubspaceDiff [182]0.0570.0980.0120.0560.0370.0990.0180.0510.1240.0130.0900.076空白WSGM [142]0.0390.0840.0090.0440.0340.0970.0130.0480.0060.0650.051空白GPrinFlowNet [180]0.0210.0680.0210.0370.0210.0880.0090.0390.056在分子生成方面,表6展示了GSDM [125]的实验结果。GSDM在多个指标上均表现出色。特别是,在NSPDK和FCD指标上,GSDM的表现尤为突出。这些高分表明GSDM能够生成在化学空间和图空间中的数据分布与真实分子接近的分子,显示出其在分子设计方面的强大能力。实验结果还表明,与其他扩散模型(如EDP-GNN [107]和GDSS [32])相比,GSDM在生成分子方面效率更高。表7还显示了生成10,000个分子所需的时间(以秒为单位)。结果表明,GSDM在推理过程中所需的时间明显少于EDP-GNN和GDSS。例如,GSDM在QM9 [160]和Zinc250k [161]数据集上生成10,000个分子图分别只需18.02秒和45.91秒,而GDSS分别需要1060秒和2110秒。这意味着GSDM的速度分别是GDSS的58倍和46倍。总之,结果充分证明了GSDM在分子设计和其他图形生成任务中的出色表现。表7. 基线方法在QM9和ZINC250k数据集上的生成结果。空白方法QM9ZINC250k有效性(%)↑无相关性(%)↑NSPDK↓FCD↓时间(秒)↓有效性(%)↑无相关性(%)↑NSPDK↓FCD↓时间(秒)↓Autoreg.GraphAF [133]100670.0205.2682.28e3100680.04416.2895.72e3GraphEBM [175]1008.220.0306.14335.331005.290.21235.47153.72GRAPHARM [178]10090.250.0021.221.52e110088.230.05516.261.328e2GraphAF+FC [133]10074.430.0215.6252.32e310068.470.04416.0235.91e3GraphDF [56]10082.670.06310.8165.08e410089.030.17634.2025.87e4GraphDF+FC [56]10093.880.06410.9284.72e410090.610.17733.5465.79e4一次性MoFlow [55]10091.360.0174.4674.5810063.110.04620.9312.59e1EDP-GNN [107]10047.520.0052.6804.13e310082.970.04916.7378.41e3SGGM [113]10095.910.0062.7454.93e110097.280.01813.9311.01e3SGGM+SLD [113]10097.350.0042.593–10098.320.01411.3791.12e3SPECTRE [163]10087.30.16347.963.310090.20.10918.44103.1GDSS [32]10095.720.0032.9001.06e210097.010.01914.6562.11e3GDSS-EM [32]10095.720.0032.9001.06e210097.010.01914.6562.11e3GDSS-VP-EM [32]10095.720.0032.9001.06e210097.010.01914.656*2.11e3GSDM [125]10099.900.0032.6501.80e110092.700.01712.9564.59e1如表8所示,大多数GAN [183]基线方法在较大的真实世界蛋白质图数据集上遇到训练困难。值得注意的是,MolGAN [139]在生成图方面表现出色,具有优异的统计指标。然而,深入分析显示,MolGAN生成的图通常是少数几个图的轻微变体。实际上,MolGAN生成的任意两个图之间的平均差异仅为17.6%。在SPECTRE [163]方法中,通过应用教师强制机制并根据真实谱特征调整生成器和判别器,成功避免了GAN常见的模式崩溃问题。具体来说,教师强制帮助生成器更好地学习生成真实数据的样本。进一步调整生成器和判别器通过优化模型对数据特征的适应性,避免了生成单调图的现象。表8. 蛋白质数据集上的实验结果。空白方法蛋白质空白Deg.?↓Clus.?↓Orbit?↓Spectral?↓Wavelet?↓Ratio?↓Unique?↑Novel?↑Uniq. & Nov.?↑t (s)?↓空白训练集0.00030.00680.00320.00090.00031.0100.0———Autoreg.GraphRNN [34]0.00400.14750.58510.01520.053082.3100.0100.0100.036.41GRAN [181]0.04790.12340.34580.01250.034182.7100.0100.011.68一次性MolGAN [139]0.00080.06440.00810.00210.00124.297.3100.097.30.003GG-GAN (RS) [183]0.47270.17720.73260.41020.6278875.8100.0100.0100.00.482GG-GAN [183]0.51920.52200.73260.39960.6157906.5100.0100.00.485SPECTRE [163]0.00560.08430.02670.00520.011816.9100.0100.0100.00.507SPECTRE (real spectra) [163]0.00130.04690.02870.00226.0100.0100.0?100.0?0.48510. 图5展示了几个代表性深度生成图模型的采样效率比较研究。评估是通过记录每个模型生成单个图所需的平均墙钟时间来进行的,结果基于128次独立运行的平均值以确保一致性。该图显示了采样时间作为图大小的函数,以生成图的平均节点数和平均边数来衡量。可以观察到,大多数神经基线方法,如GDSS、DiscDDPM和DiGress,只能为相对较小的数据集(如Community(平均110个节点)和Ego(平均144个节点)生成图。相比之下,GraphRNN可以扩展到更大的图,但采样成本显著增加,反映了其自回归解码的顺序性质。GraphCNF在小型数据集上表现出强大的效率,采样时间在最低之列,而基于扩散的方法由于迭代去噪过程而表现出相对较慢的性能。结果中的一个值得注意的观察是,采样时间并不总是随着节点数量的增加而单调增加。例如,尽管Ego图的平均节点数多于Community图,但在某些模型下所需的生成时间较少。这归因于某些方法的计算负担更直接地与边数相关,而Ego图通常比Community图稀疏得多。下载:下载高分辨率图像(334KB)下载:下载全尺寸图像图5. 不同模型的采样速度比较。总体而言,比较结果突出显示,虽然自回归方法在可扩展性方面受到严重限制,但基于流的方法(如GraphCNF)在较小图上实现了强大的效率。基于扩散的模型提供了更大的建模灵活性,但面临更高的采样成本。这些发现强调了不同类别的生成图模型在可扩展性和采样速度之间的权衡。11. 应用在本节中,我们将深入探讨图生成技术的实际应用。我们将重点关注五个具体的应用示例:分子设计、推荐系统、蛋白质设计、社区生成和程序合成。
11.1 分子设计
分子设计在药物开发、材料科学、环境保护、农业和食品工业等应用领域具有重要意义。通过分子设计,可以开发出具有特定功能和优异性能的新分子和新材料。在分子生成任务中,生成设计通常有两个主要目标:(1)图生成方法应生成语法上有效的分子;(2)生成的分子应具有某些特定的属性。为了确保生成分子的有效性,可以在每个中间生成步骤中添加价态检查来实现顺序生成策略。在现有的工作中,EDM [4] 提出了一种针对生成3D分子结构的E(n)-等变扩散模型,该模型通过将等变属性整合到去噪过程中来处理连续数据(例如原子坐标)和分类数据,以确保生成的分子构象遵循3D空间的固有对称性(例如旋转和平移)。GeoDiff [5] 提出了一种用于生成分子构象的几何扩散方法,该方法侧重于模拟分子结构的Boltzmann分布,确保生成的构象在物理上合理且在能量上稳定。GeoDiff 利用SE(3)群在扩散和生成过程中保持旋转和平移不变性。如图6所示,GeoDiff 使用图扩散模型生成具有典型药物分子特征的高逼真分子构象。我们可以清楚地看到GeoDiff生成的多个分子构象示例,每个示例都显示了不同的分子排列和结构。可视化结果不仅验证了GeoDiff模型的有效性,还展示了其在药物发现和材料科学中的潜在应用价值。DiffLinker [6] 使用结合了对称性考虑的3D等变扩散模型来生成基于3D片段的分子连接器,从而能够高效地生成与输入分子片段的空间排列一致的连接器。
下载:下载高分辨率图像(191KB)
下载:下载全尺寸图像
图6. GEODIFF生成的药物样构象的可视化展示了该模型在生成分子结构方面的能力 [5]。
11.2 推荐系统
传统的推荐系统可能无法完全捕捉用户偏好的动态变化,而扩散模型可以通过生成和预测用户的潜在兴趣来提供更准确的推荐结果。在现有的工作中,CF-Diff [184] 提出了一种基于扩散模型的新协同过滤方法,该方法利用高阶连接性信息来提高推荐准确性。SDRM [185] 引入了一种基于分数的扩散推荐模块,用于生成保护隐私的推荐数据。SDRM 能够捕捉现实世界数据集中的复杂模式,从而在保护用户隐私的同时实现准确的推荐。G-Diff [186] 强调与VAE [42]、[47]、[136] 和GAN [41]、[61] 等传统生成模型相比,扩散模型能够更好地捕捉用户行为中的不确定性和潜在偏好。G-Diff 通过向目标项添加噪声来学习用户行为的概率分布,从而实现更好的序列推荐。如图7所示,为了简洁和清晰起见,G-Diff 仅展示了由三种不同随机种子生成的前三名推荐列表。这些推荐列表显示了系统在不同初始条件下推荐的电影,这有助于理解推荐算法在实际应用中的性能和变异性,也有助于评估推荐系统在满足用户观看偏好方面的准确性和一致性。
下载:下载高分辨率图像(333KB)
下载:下载全尺寸图像
图7. DiffRec展示了用户观看列表和推荐电影的示例。在这些示例中,真实的电影条目用红色框标记,以便与推荐系统 [187] 生成的电影列表进行比较。
11.3 蛋白质设计
通过图生成技术设计具有特定功能的蛋白质可以促进生物技术(例如酶工程和抗体设计)的发展,并实现高效的生物催化和疾病治疗。在现有的工作中,GDD [7] 讨论了如何使用引导扩散模型通过从非标准化密度函数中采样来设计蛋白质。GDD 强调了引导扩散模型通过固定长度的马尔可夫链生成低能量蛋白质样本的效率。RFdiffusion [188] 将扩散模型与结构预测网络结合,以提高蛋白质设计的准确性。这种方法使用扩散模型来创建生物学上合理的蛋白质,展示了它们生成多样且结构合理的蛋白质序列的潜力。EvoDiff [189] 将进化尺度数据与扩散模型的调控能力结合起来,生成具有广泛功能性和结构合理性的高保真度蛋白质,推动了传统基于结构的蛋白质设计方法的边界。如图8所示,RFdiffusion 成功设计了满足C4对称性和Ni2+结合要求的寡聚体,验证了RFdiffusion 在设计和生成符合理论预期的分子结构方面的有效性。
下载:下载高分辨率图像(256KB)
下载:下载全尺寸图像
图8. RFdiffusion 通过多次迭代构建了一个对称的寡聚体。这一过程展示了RFdiffusion 逐步生成和优化分子结构以逐渐满足设计目标的能力 [188]。
11.4 社区生成
图生成有助于模拟复杂的社区结构和社区生成的动态变化,从而更好地理解和分析实际社区网络的行为和特征。通过生成代表性图表,我们可以填补真实数据中的缺失部分,并提高数据集的质量和多样性。这对于社区检测和分析尤为重要,因为真实的社区数据可能是不完整或有噪声的。图生成模型可以生成潜在的社区结构,并预测社区随时间的演变,这对社交网络分析具有实际应用价值。如图9所示,GDSS [32] 是一种图数据合成和采样技术,它生成的图表旨在模拟和预测可能的社区结构。生成的图表通常反映了模型在给定参数下产生的社区组织和节点连接性。与真实数据集的图表相比,GDSS 生成的图表可能显示出更多的实验结构特征。
下载:下载高分辨率图像(208KB)
下载:下载全尺寸图像
图9. GDSS 显示了一个小型真实社区的数据集网络结构。该图表包括社区内的节点及其边连接,以及不同社区之间的边界 [32]。
11.5 程序合成
与传统的生成模型不同,扩散模型可以在生成过程中不断验证和调整代码,以确保最终生成的代码在语法和语义上都是正确的。DST [190] 提出了一种在语法树上操作的神经扩散模型,通过迭代改进代码同时保持语法有效性。DST 通过允许基于运行时反馈的迭代编辑,解决了自回归模型的局限性。如图10所示,最左边的列显示了测试集中的真实渲染器。接下来的列显示了由不同方法生成的渲染器,包括DST和其他基线方法。每一列都展示了该方法在相应图形语言中的渲染效果。通过比较这些渲染器,我们可以看到每种方法生成的图形的准确性和细节上的差异。DST方法的渲染器在图形生成方面显示出其优势,特别是在细节的精确调整和与真实程序的匹配度方面。DST可以生成更复杂的图形,更好地适应测试集中的真实渲染器,并显示出更高的准确性和真实性。
下载:下载高分辨率图像(257KB)
下载:下载全尺寸图像
图10. 定性示例展示了DST和基线方法在两种反向图形语言CSG2D(上两行)和TinySVG(下两行)[190] 上的表现。
12. 跨领域的实际考虑
当将图生成模型应用于不同领域时,会出现一些特定于领域的考虑因素。在分子科学和材料科学中,确保化学有效性至关重要,这通常需要在生成流程中加入硬约束或基于规则的后期处理模块。相比之下,社交网络和引用图的应用更注重可扩展性,其中考虑稀疏性的消息传递和子图采样策略对于处理大规模图至关重要。时间或动态图(如交易网络)需要明确建模时间演变边的架构;基于ODE和SDE的公式已被调整以捕捉这种动态。此外,评估协议也有所不同:分子生成严重依赖于基于属性的指标(例如QED、logP),而社区网络生成则强调结构相似性(例如度分布、聚类系数)。这些实际差异表明,“一刀切”的解决方案仍然难以实现,有效的部署需要仔细协调模型设计、超参数设置和领域约束。
13. 未来方向
训练目标和优化问题。尽管证据下界(ELBO)已在图生成任务中得到广泛应用,但其与真实负对数似然的理论对齐仍不够清楚。优化ELBO仅作为变分推断的代理,并不一定保证收敛到最优生成分布,特别是在高维结构数据(如图)中。为了解决这一差距,可以追求几个具体的研究方向:(1)ELBO的理论校准。一种系统方法是通过对标准ELBO添加考虑图特定结构的校正项来推导更紧的界限。例如,可以将Rényi散度或χ2散度基界限整合到训练目标中,并通过实验评估这些界限是否在基准数据集上与真实似然更好地对齐。(2)分层和领域感知的目标。当前的目标通常均匀处理节点和边,忽略了分层或领域特定的依赖性。一个实际的流程应该是:(i)将图分解为分层单元(例如社交图中的社区、分子图中的功能组),(ii)在每个单元内定义局部重建损失,(iii)将它们汇总为一个由结构重要性加权的全局目标。这确保了训练同时尊重局部保真性和全局一致性。(3)自适应噪声-信号平衡。在扩散过程中,挑战在于在保留有意义信号的同时对噪声进行建模。一种具体的策略是采用基于课程的调度:从高噪声水平开始以鼓励探索,然后根据拓扑感知标准(例如节点度分布、基序频率)逐渐降低噪声,从而保留关键的结构信息。这可以通过根据图统计动态调整调度来实现。(4)混合损失设计。最近在分数匹配和去噪扩散方面的进展表明可以结合多个目标。一个有效的工作流程可以是:(i)重建误差确保对输入结构的忠实性,(ii)对抗性正则化鼓励真实的样本分布,(iii)结构约束(例如分子图中的基于能量的先验、社交网络中的模块性)引导模型朝向领域有效性。这样的混合目标可以共同优化,并通过自适应加权来防止任何单一组分的主导。(5)评估和迭代细化。为了验证这些目标,可以采用训练-评估-细化的循环:使用提出的混合损失进行训练,使用基于似然的指标(ELBO差距、NLL近似)和领域指标(社交/引用网络的MMD、分子图的FCD)进行评估,并迭代细化目标权重或噪声调度,直到满足统计和领域特定的性能标准。
2D到3D图生成的挑战。随着图生成研究从2D领域发展到3D领域,建模空间复杂结构和确保几何保真性带来了新的挑战。与2D图不同,3D图涉及节点坐标、键角和几何约束之间的复杂依赖性,这在分子构象和蛋白质折叠中至关重要。为了系统地解决这些挑战,可以考虑几种具体的方法:(1)领域感知的评估指标。传统的结构指标(度分布、聚类系数)对于3D图来说是不够的。一个实际的评估流程应该包括:(i)RMSD来衡量与参考构象的偏差,(ii)立体冲突分数来惩罚物理上无效的重叠,以及(iii)来自分子动力学或力场模拟(例如MMFF94、CHARMM)的能量基指标来评估热力学合理性。这确保了评估同时反映了结构保真性和物理有效性。(2)等变性和不变性建模。生成模型必须尊重SE(3)对称性,以便生成的图在旋转和平移下保持一致。一个具体的建模策略是:(i)采用SE(3)-等变的GNN或张量场网络进行消息传递,(ii)确保坐标更新保持旋转/平移不变性,(iii)结合注意力机制来捕捉蛋白质或大分子中的长距离依赖性。(3)几何约束的保持。在3D生成中,一个关键步骤是在去噪过程中保持键长、键角和扭转角。这可以通过以下方式实现:(i) 将约束条件嵌入到损失函数中(例如,对键长施加谐波惩罚);(ii) 在每次扩散步骤后,将生成的坐标投影回物理上有效的流形;(iii) 使用约束满足层,在采样下一个状态之前纠正无效的几何结构;(4) 结合物理先验知识。可微分的物理模拟器和基于能量的模型可以作为归纳先验。一个可行的工作流程是:(i) 使用扩散或基于分数的模型生成粗略的3D结构;(ii) 在力场的引导下通过能量最小化来细化这些结构;(iii) 将细化后的结构重新输入到生成循环中进行迭代改进。这种“生成-细化-重新训练”的流程将深度生成学习与分子模拟相结合。
数据分布变化的影响。另一个有前景的方向是解决训练数据和部署数据之间的分布差异所带来的挑战。在分子设计或社交网络建模等实际应用中,测试时遇到的数据通常具有特定的结构和约束,而这些在训练过程中并未完全捕捉到。为了提高生成的真实性,未来的工作应该探索将特定领域的先验知识整合到扩散过程中。例如,在分子生成任务中,将化学价态约束、环闭合规则或基于能量的物理先验纳入去噪模型中,可以确保生成的分子不仅在结构上有效,而且在化学上也可行。同样,在社交网络或社区图生成中,嵌入模块性、社区检测统计或度分布等结构先验可以提高真实感。此外,应对分布变化需要强大的建模策略,如在采样过程中进行分布外(OOD)检测、领域自适应的训练目标,或明确建模不同数据环境下不确定性的贝叶斯扩散模型。这些策略不仅会提高图扩散模型的稳定性和泛化能力,还能为它们在具有动态和异构数据分布的下游应用提供更强的保障。
排列不变性和图对齐。排列不变性传统上被视为图生成模型的一个基本属性,确保模型输出在节点重新排序时保持一致。许多先前的研究强调这一属性对于学习稳定的表示和避免过度拟合任意节点索引至关重要。然而,新兴研究表明,在某些情况下,严格的排列不变性可能会限制模型的表达能力和生成性能。最近的研究表明,放宽排列不变性实际上可以改善生成任务的效果,尤其是在图结构对齐有意义或可以从数据中推断出规范节点排序的情况下。例如,SwingNN [191] 提出了一种对排列敏感的扩散模型,并表明结合对齐感知的架构可以提高分子生成的样本质量。类似地,Laabid 等人 [192] 指出,在逆合成中,对反应物和产物之间的节点排序进行对齐对于实现化学上合理的转化是必要的。即使在像 AlphaFold 3 [193] 这样的大规模结构预测任务中,也使用节点位置的规范化来促进准确的生物分子相互作用建模。这些见解揭示了一个范式转变:现代图生成模型可能从结合特定任务或领域感知的对齐策略中受益,而不是强制要求严格的排列不变性。这包括学习对排列敏感的特征、引入对齐损失项,或利用从启发式方法或辅助模型中得出的规范图排序。因此,未来的图扩散研究应仔细评估何时排列不变性是有益的,以及何时通过控制性的放松或对齐可以获得更好的性能。
图扩散模型(GDMs)的可扩展性。当前图扩散模型(GDMs)的一个关键限制是它们对大规模图(如社交网络或引用网络)的可扩展性较差。大多数基于扩散的方法在去噪过程中需要对所有节点进行重复的成对计算,而自回归模型则是顺序生成边的。这两种设计都会导致二次或更低的计算成本,当节点数量达到数百万时变得不可行。最近的研究提出了一些实用的解决方法。一种方法是稀疏或活动区域扩散,模型将计算限制在最有可能发生变化的节点或候选边上,而不是在每一步处理整个密集的邻接矩阵。这大大减少了开销,同时保持了在大规模稀疏图上的准确性。另一条研究路线是子图采样:将大图划分为重叠的子图进行训练,然后通过边界上的一致性约束进行合并。尽管这种方法随子图数量的增加而线性扩展,并允许并行化,但必须精心设计以保持全局结构属性。另一种补充解决方案是分层生成,它分多个阶段构建图。模型首先在社区层面生成一个粗略的骨架,然后详细细化每个社区。这种方法不仅提高了效率,还自然地符合社交和生物网络中常见的模块化结构。同时,减少扩散步骤的技术,如蒸馏或自适应噪声调度,缩短了所需的去噪迭代次数,加快了训练和推理的速度。其他工程导向的策略包括使用低秩或块稀疏的邻接矩阵表示来减少冗余计算,以及分布式和并行训练框架来有效利用多个 GPU 或节点。最后,还探索了边预算控制和负采样策略,以避免对所有可能的节点对进行评分,而是专注于最具信息量的边。虽然这些方法共同缓解了可扩展性问题,但每种方法都有其 trade-offs,例如,稀疏方法可能会遗漏罕见但重要的边,子图采样可能会失去全局一致性,而分层生成则严重依赖于社区检测的质量。在不牺牲真实性和稳定性的情况下实现真正的可扩展性仍然是一个开放的研究挑战,但这些策略的结合为未来的发展提供了一条有希望的道路。
分布外(OOD)鲁棒性。当前 GDMs 的另一个关键限制是它们在应用于实际数据时对分布变化的脆弱性。虽然基准测试通常假设训练图和测试图来自相同的分布,但实际情况有所不同:社交网络会随时间演变,分子库会随着新支架的出现而扩展,引用图会随着新领域的出现而变化。这种分布外(OOD)设置常常导致生成质量的严重下降,引发了对当前评估实践可靠性的担忧。现有的缓解策略包括:(1) 自监督和预训练方法利用大型异构图语料库来学习跨领域更好的泛化表示 [194];(2) 领域适应技术明确对齐源分布和目标分布,例如使用对抗性目标或特征归一化来减少领域差距 [195];(3) 具有不确定性意识的建模为 GDMs 配备贝叶斯层或集成评分来量化置信度并检测 OOD 样本 [196]。
结论
作为最先进的生成方法之一,基于扩散的方法在图生成任务中取得了显著进展,特别是在分子设计和材料合成等领域。因此,我们提供了基于扩散的图生成方法的全面综述。首先,我们简要回顾了一些传统的图生成方法。其次,我们分析了不同扩散方法的不同范式,包括如何将扩散模型应用于图结构。第三,我们详细介绍了基于扩散的图生成方法在各种任务中的应用,包括它们在流行数据集上的性能。通过比较不同方法在实际应用中的效果,我们可以评估它们在特定任务中的有效性和优势。第四,我们描述了基于扩散的图生成方法在实际应用中的具体性能。最后,我们展望了未来的研究方向和挑战。我们讨论了当前方法的局限性以及可能的未来研究方向,包括如何解决现有问题并探索新的应用领域和技术创新。