《Digital Discovery》:Fast and scalable retrosynthetic planning with a transformer neural network and speculative beam search
编辑推荐:
基于人工智能的计算机辅助合成规划(CASP)系统作为人工智能驱动药物发现工作流程的组成部分而受到需求。然而,此类CASP系统的高延迟限制了其在从头药物设计中用于高通量可合成性筛选的效用。研究人员提出了一种基于Transformer的单步逆合成模型,该模型基于推
基于人工智能的计算机辅助合成规划(CASP)系统作为人工智能驱动药物发现工作流程的组成部分而受到需求。然而,此类CASP系统的高延迟限制了其在从头药物设计中用于高通量可合成性筛选的效用。研究人员提出了一种基于Transformer的单步逆合成模型,该模型基于推测性束搜索(speculative beam search,SBS)结合一种名为Medusa的可扩展起草策略,降低了推理延迟。用该方法替代标准Transformer和束搜索,加速了规划算法的扩展阶段,从而在严格时间限制下规划时提高了CASP中的可解性,并在合成受迭代次数约束时节省了数小时的计算时间。该方法使基于人工智能的CASP系统更接近满足高通量可合成性筛选的严格延迟要求,并改善整体用户体验。
**研究背景、问题与目的**
现代制药工业正大量投资人工智能(AI)技术以降低药物开发的巨额成本与时间。在临床前药物发现阶段,AI工具已被整合到传统的设计-制造-测试-分析(DMTA)循环中,其中从头药物设计工具能生成近乎无限数量的分子结构,但这些结构必须经过可合成性(synthesizability)筛选。可合成性评估最严格的方法是利用计算机辅助合成规划(CASP)系统构建完整的逆合成树,但现有基于AI的CASP系统(如AiZynthFinder、ASKCOS等)存在高延迟问题,处理单个分子需数小时,无法满足高通量筛选中实时或近实时的需求。当前单步逆合成模型多采用基于Transformer的SMILES到SMILES翻译框架,并通过束搜索(beam search)生成多个候选前体,但自回归生成方式导致模型前向传播次数过多,成为延迟瓶颈。因此,亟需加速Transformer推理以提升CASP系统在高通量场景下的实用性。
**研究内容与结论**
研究人员提出一种结合推测性束搜索(speculative beam search, SBS)与Medusa起草策略的Transformer变体(M-SBS),并将其集成到开源CASP系统AiZynthFinder中。实验表明,在单步逆合成任务(USPTO 50K数据集)中,M-SBS相比标准Transformer加束搜索(T-BS)及启发式推测束搜索(T-HSBS)实现了约4倍的推理加速(批大小1至32),且准确率与有效性几乎不变。在多步逆合成规划中,使用Caspyrus10k基准数据集,以回溯*(Retro*)或深度优先证明数(DFPN)为搜索算法,在严格时间限制(每分子5或15秒)下,M-SBS使规划算法单次迭代加速约3倍,成功求解的分子数比Transformer多26%至86%(取决于条件);在迭代数限制(每分子200次)下,M-SBS完成整个数据集的计算时间比Transformer节省约200小时(从372小时降至172小时),同时保持95.9%的求解率(Transformer为97.1%)。在PaRoutes-n1基准上(随机选取1000个目标),M-SBS在10小时内恢复参考路线276条(27.6%),Transformer在24小时内恢复286条(28.6%),两者性能近似但速度差异显著。论文发表于《Digital Discovery》。
**主要关键技术方法**
(1)基于Transformer编码器-解码器架构的SMILES到SMILES单步逆合成模型(6层编码器/解码器、8个注意力头、嵌入维度256、前馈维度2048,共约1740万参数);(2)推测性束搜索(SBS):在每一生成步使用草稿序列(来自启发式子串或Medusa头)结合主模型验证,一次性接受多个token,减少模型前向调用次数;(3)Medusa多预测头:在Transformer解码器上添加20个额外MLP头(共约130万参数),可同时预测未来1至20个token的分布,生成单个高质量草稿序列,避免多草稿导致的批处理膨胀;(4)多步合成规划框架AiZynthFinder 4.0,使用回溯*或DFPN搜索算法,构建逆合成树直至所有叶节点为可购买构建模块;(5)训练数据:标准USPTO 50K数据集(40008/5001/5007反应,20倍R-SMILES增强);构建模块库存:PaRoutes(13414分子)和ZINC(17422831分子)。
**研究结果**
**3.1 单步逆合成**
在USPTO 50K测试集上比较四种解码策略:T-BS(Transformer+束搜索)、T-BSO(优化束搜索,EOS后停止生成pad token)、T-HSBS(Transformer+启发式推测束搜索)、M-SBS(Medusa+推测束搜索)。M-SBS在批大小1至32下解码时间最短(如批大小32时1.5分钟,T-BSO需5.5分钟),模型调用次数最少(3224次 vs. T-BSO的16170次),平均接受率达91%(T-HSBS仅64%)。所有方法在Top-1/3/5/10准确率(约52%/75%/83%/89%)及无效SMILES比例上几乎一致,表明加速未牺牲精度。
**3.2 多步逆合成**
将M-SBS(称Medusa)与T-BSO(称Transformer)集成至AiZynthFinder,在Caspyrus10k(10000目标分子)上进行多步规划实验。
**3.2.1 时间约束规划**
设定每分子5秒或15秒时间限制,使用PaRoutes或ZINC库存,最大路线长度5或7。结果:所有条件下Medusa求解分子数均显著高于Transformer。例如,使用DFPN算法、PaRoutes库存、深度5、5秒限制下,Medusa求解2080分子(Transformer为1117),共同求解的1017分子中Medusa平均耗时0.86秒(Transformer 1.88秒),规划算法单次迭代时间加速约3倍。使用回溯*算法、ZINC库存、深度7、15秒限制下,Medusa求解8608分子(Transformer 7888)。Medusa在共同求解分子上需更多算法迭代(约9.5次 vs. 6.5次),因其概率分布更平滑导致更探索性行为。
**3.2.2 迭代数约束规划**
设定每分子最多200次回溯*迭代,最大路线深度7,束大小50,ZINC库存。Transformer求解率97.13%,平均每次迭代0.67秒;Medusa求解率95.90%,平均每次迭代0.31秒;Medusa节省约200小时GPU计算时间。与文献中其他模型(LocalRetro 74.1%, Chemformer 62.4%, AZF模板模型41.1%)相比,两者均显著更优。
**3.2.3 PaRoutes-n1评估**
在随机选取的1000个目标上执行500次迭代搜索。Transformer求解率94.1%,路线准确率28.6%(286/1000),耗时24小时;Medusa求解率93.7%,路线准确率27.6%(276/1000),耗时10小时。两者解集部分重叠(248个共同恢复路线),对仅一方求解的分子,另一方常能预测正确的构建模块集合,表明探索不同解空间。
**3.3 局限性**
当前实验仅关注逆合成图构建速度,但AiZynthFinder分割树为独立路线也耗费大量时间,可通过优先提取最可能反应优化。增加束大小(从10到50)导致往返准确率下降(从63%降至47%),因质量低的预测(如短答案“Cl”)混入,需结合启发式过滤。现有CASP系统不支持单步模型批大小>1,未来工作将推广多步算法以利用Medusa在大批处理下的优势。
**讨论与结论**
研究人员证实,结合Medusa与推测性束搜索的Transformer变体在AiZynthFinder多步逆合成规划中,相比标准Transformer加束搜索,在保持同等准确率下实现了显著速度优势。单步实验中,Medusa-SBS在批大小1-32下将10个扩展生成加速约4倍;多步实验中,在严格时间或迭代数约束下,规划算法单次迭代加速约3倍,求解更多分子或节省大量计算时间。该方法使基于AI的CASP系统接近高通量可合成性筛选所需的实时性能,提升了用户体验。