《Advanced Photonics Research》:Dual-Branch Deep Neural Network for FLIM Parameter Estimation
编辑推荐:
荧光寿命成像显微镜(FLIM)是研究分子相互作用和细胞微环境的强大工具。传统的寿命估计依赖于曲线拟合,这是一个计算密集且对噪声敏感的过程。为了解决这些挑战,研究人员开发了一个基于双分支深度学习的框架,用于无拟合估计FLIM参数。该框架集成了多任务学习和知识引导
荧光寿命成像显微镜(FLIM)是研究分子相互作用和细胞微环境的强大工具。传统的寿命估计依赖于曲线拟合,这是一个计算密集且对噪声敏感的过程。为了解决这些挑战,研究人员开发了一个基于双分支深度学习的框架,用于无拟合估计FLIM参数。该框架集成了多任务学习和知识引导学习,以提高准确性和鲁棒性。双分支模型由一个自编码器(AE)和一个卷积神经网络(CNN)组成。AE处理衰减轨迹以生成重建和潜在表示,随后输入CNN以预测荧光寿命和丰度。为了克服实验数据稀缺的限制,研究人员通过结合模拟和实验轨迹构建了训练数据集。该方法首先通过留一仪器响应函数(IRF)交叉验证在模拟数据上验证,以确认其跨仪器响应函数(IRFs)的泛化能力。接下来,研究人员在实验数据上评估了该方法,训练数据来自不同比例的模拟和实验衰减。与基线CNN和基于曲线拟合的FLIMview软件相比,即使在有限的实验数据下,该模型也表现出优越的性能。这些发现强调了深度学习在实现可扩展、实时FLIM分析方面的潜力。
在生物医学研究中,荧光寿命成像显微镜(FLIM)通过测量荧光团寿命来提供关于分子环境和相互作用的定量信息,其优势在于不受荧光团浓度、光漂白或激发强度的影响,而是对pH值、离子浓度和分子相互作用等环境变化高度敏感。然而,传统的FLIM参数估计方法,如曲线拟合,通常依赖于非线性最小二乘法或最大似然估计,这些方法计算成本高、对噪声敏感,且在处理低光子计数时容易不稳定,这限制了FLIM在实时和高通量应用中的潜力。现有的机器学习方法,例如基于人工神经网络(ANN)或随机森林(RF)的模型,虽在一定程度上提高了速度,但仍需依赖大量标注数据,且可能无法充分捕捉衰减曲线的复杂特征。因此,研究人员需要开发一种更鲁棒、快速且无拟合的参数估计方法,以克服这些挑战。
为了应对这一问题,研究人员提出了一种双分支深度神经网络(dual-branch deep neural network)框架,用于FLIM参数的无拟合估计。该研究发表在《Advanced Photonics Research》上,旨在通过结合自编码器(autoencoder, AE)和卷积神经网络(convolutional neural network, CNN)来提升估计的准确性和鲁棒性。具体而言,研究人员设计了一个联合训练的模型,其中AE负责从输入衰减轨迹中提取潜在表示,而CNN则基于这些表示预测荧光寿命参数,包括丰度(α
1)和两个寿命(τ
1、τ
2)。通过使用自定义损失函数,模型同时优化重建精度和参数预测性能,从而增强了泛化能力。研究得出结论,该双分支模型在模拟和实验数据上均优于基线CNN模型和传统的曲线拟合方法(如FLIMview软件),表现出更低的误差、更高的相关系数和更好的图像结构相似性(SSIM),证明了其在有限实验数据下的有效性和在跨仪器响应函数(IRFs)条件下的泛化潜力。
研究人员采用的关键技术方法包括:首先,构建了一个混合训练数据集,结合了基于已知参数生成的模拟衰减曲线和来自HEK细胞系的实验数据,样本队列来源于在Dulbecco改良Eagle培养基(DMEM)中培养的NF-κB响应性荧光素酶报告细胞系,并通过双光子激发在Zeiss LSM 710显微镜上进行FLIM测量。其次,开发了一个双分支深度学习架构,该架构由自编码器(AE)和卷积神经网络(CNN)组成,其中AE使用编码器-解码器结构提取瓶颈特征,CNN则基于这些特征进行回归预测。第三,采用联合训练策略,通过自定义损失函数同时优化AE的重建损失和CNN的参数估计损失,以提升模型性能。最后,评估方法包括在模拟数据上进行留一IRF交叉验证(leave-one-IRF-out cross-validation)和在实验数据上进行留一样本交叉验证(leave-one-sample-out cross-validation),以验证模型的泛化能力和鲁棒性。
研究结果部分分为模拟数据和实验数据两个方面。在模拟数据部分,研究人员使用四种不同仪器响应函数(IRFs)生成的衰减轨迹评估了模型性能。通过比较重建的衰减曲线与真实信号,结果表明双分支深度学习模型生成的曲线更接近真实信号且变异较小。定量分析显示,与基线CNN模型相比,双分支模型在参数估计上显著降低了中位数相对误差:对于丰度α
1,误差从约29.17%降至约13.68%;对于寿命τ
1,从约32.61%降至约23.57%;对于寿命τ
2,从约17.84%降至约8.74%。此外,重建衰减曲线与真实曲线的皮尔逊相关系数更高,证实了双分支模型在捕捉信号结构方面的优越性。与基于曲线拟合的FLIMview软件相比,深度学习模型(包括双分支和CNN)表现出更低的误差和更高的相关性,证明了其在模拟条件下的有效性。
在实验数据部分,研究人员进一步验证了模型的迁移能力,使用留一样本交叉验证,并调整训练数据中模拟和实验数据的比例(从100%模拟-0%实验到30%模拟-70%实验)。结果显示,双分支模型在参数绝对误差和相对误差上均低于基线CNN模型,表现出更稳定和可靠的预测性能。相关系数分析表明,双分支模型在所有数据比例下均维持高相关性(约0.970-0.999),而CNN模型相关性略低且偶有失败案例。对于参数图像重建,双分支模型生成的空间映射具有更清晰的边界和更均匀的内部区域,其结构相似性指数(SSIM)值更高:对于α
1,SSIM约0.99;对于τ
1,SSIM约0.89-0.96;对于τ
2,SSIM约0.97-0.99。相比之下,CNN模型的SSIM值略低且更可变。这些结果表明,即使实验数据比例较低,双分支模型仍能实现高质量的参数估计,且随着实验数据比例的增加,性能进一步提升,尤其是在挑战性较大的τ
1参数上。
总结讨论部分,研究人员指出双分支深度学习框架在FLIM分析中展示了强大的潜力,其优势在于能够无拟合地、准确地估计荧光寿命参数,同时具有跨仪器响应函数的泛化能力。这对于实际应用如荧光寿命成像眼科(fluorescence lifetime imaging ophthalmoscopy, FLIO)具有重要意义,因为该方法可减少对大量标注数据的依赖并提高实时处理效率。然而,研究人员也承认当前模型作为一维卷积模型,在处理衰减轨迹时未利用空间信息,因此未来工作将扩展模型以处理多指数衰减并探索无监督学习策略,以减少对标注数据的依赖。研究结论部分翻译如下:为了实现FLIM数据的鲁棒分析,研究人员提出了一种结合自编码器(AE)和卷积神经网络(CNN)的双分支深度学习(DL)架构,通过联合训练框架提取衰减轨迹的潜在表示并估计寿命参数。模型性能在模拟和实验数据上与基线神经网络进行了比较,结果表明在模拟数据验证中,留一仪器响应函数(IRF)交叉验证显示了满意的性能,参数估计误差和重建衰减曲线均表现良好。进一步在实验数据上的系统评估显示,使用30%实验数据训练时模型已达到满意性能,且随实验数据比例增加性能提升,尤其是在参数τ
1上。所有结果证明了双分支DL模型在无拟合、有效估计FLIM参数方面的显著前景,其在跨仪器响应函数条件下的泛化优势使其特别适用于如FLIO等实际场景。