《Biotechnology and Bioengineering》:Enabling Bioprocess Upscaling Prediction Through Hybrid Modelling and Transfer Learning Under Small-Data Scenarios
编辑推荐:
准确的生物过程放大预测对于加速新型和可持续生物制造系统的部署至关重要。然而,这仍然具有挑战性,因为多尺度数据的生成成本高昂,且机理性理解往往不完整,导致放大决策严重依赖经验专业知识。本研究提出了一种数据高效策略,将混合建模(Hybrid Modelling)与
准确的生物过程放大预测对于加速新型和可持续生物制造系统的部署至关重要。然而,这仍然具有挑战性,因为多尺度数据的生成成本高昂,且机理性理解往往不完整,导致放大决策严重依赖经验专业知识。本研究提出了一种数据高效策略,将混合建模(Hybrid Modelling)与迁移学习(Transfer Learning)相结合,从有限的实验室规模数据构建高保真模型,然后仅使用中试规模信息对其进行调整以进行工业规模预测。一个关键创新是在小数据场景(Small-Data Scenarios)下对该框架进行显式评估,这反映了工业发展的实际约束。利用一个实际酵母发酵案例,所提出的框架实现了准确的工业规模动态预测,平均绝对百分比误差(Mean Absolute Percentage Error, MAPE)为23.2%,展示了其高数据效率。此外,本研究发现混合模型的灰度(Greyness)对其预测准确性以及数据稀缺条件下迁移学习的可行性产生决定性影响,且其最优水平不同于数据丰富场景。因此,这些发现首次提供了如何在数据有限时利用混合建模和迁移学习构建可扩展数字孪生(Digital Twin)的指导,从而实现更自信和可靠的生物过程开发与放大。
生物过程放大预测对于加速新型和可持续生物制造系统的部署至关重要,但多尺度实验数据获取成本高昂,机理性理解常不完整,导致放大决策长期依赖经验。混合建模(Hybrid Modelling)将机理知识与数据驱动学习结合,已成为化学和生物化学工程中的重要工具,但其关键设计参数——“灰度”(Greyness),即机理知识与数据驱动学习的相对比例,在数据稀缺条件下应如何设置仍无定论。尤其当混合建模与迁移学习(Transfer Learning)结合,且源域和目标域均面临小数据困境时,相关研究尚属空白。为此,研究人员以虾青素生产的酵母发酵过程为案例,系统评估了混合建模与迁移学习在生物过程放大预测中的可行性与局限性。
研究人员构建了基于复杂动力学骨架和简单动力学骨架的两种混合模型,利用实验室规模数据训练源域模型,仅以一个中试规模实验数据通过迁移学习更新模型,进而预测8000 L工业规模动态过程。结果表明,简单骨架的混合模型在中试和工业规模上均表现优异,中试拟合平均绝对百分比误差(MAPE)从60.4%降至19.6%,工业规模预测MAPE达23.2%。该研究首次在实际跨尺度数据中证明了小数据场景下混合建模与迁移学习的有效性,为数据有限的生物过程开发提供了可扩展数字孪生(Digital Twin)的构建策略。
关键技术方法主要包括:构建复杂和简单两种动力学模型作为混合模型骨架;采用归一化最小二乘和Hessian不确定性估计进行参数估计与不确定性量化;通过带惩罚项优化估计时变参数(Time-Varying Parameters, TVPs),并利用人工神经网络(Artificial Neural Network, ANN)学习TVPs与状态变量的关联,辅以数据增强和k折交叉验证防止过拟合;迁移学习通过带权重惩罚的损失函数微调源域ANN,平衡源域知识保留与目标域适应。样本来源为Xanthophyllomyces dendrorhous (UV721)发酵实验,包括3.6 L实验室规模(批次和补料分批)、1000 L中试和8000 L工业规模(补料分批)数据。
3.1 动力学模型拟合结果:复杂动力学模型能够较好拟合实验室数据,各状态MAPE在7.3%–36.1%之间,但参数不确定性较大,特别是非生长相关虾青素生成系数。这表明即使机理模型可描述过程,但小数据下参数不确定性问题突出,需评估混合模型能否以同等数据实现更高可靠性。
3.2 混合模型拟合结果:简单骨架混合模型(H-S)与复杂骨架混合模型(H-C)在实验室拟合精度上相当,但TVP分析揭示本质差异。H-S的TVP呈现平滑且具有明确生物学解释的轨迹,而H-C的TVP剧烈波动,说明ANN在复杂骨架上主要拟合了噪声而非信息增益。因此,仅H-S适合后续迁移学习,复杂骨架因已编码过多数据特定趋势,导致数据驱动组件难以提取互补信息。
3.3 迁移学习结果:源域模型直接预测中试过程可捕捉总体趋势但后期偏差显著。通过估计中试TVP并微调ANN,目标域模型对中试拟合MAPE降至19.6%,较源域改进68%;对未见的8000 L工业实验预测MAPE为23.2%,较源域单独模型改进62%。这证明迁移学习能有效传递跨尺度信息,显著提升小数据下的预测能力。
3.4 灰度与数据量的影响:研究揭示混合模型灰度对迁移学习可行性具有决定性影响。在小数据场景下,采用简单骨架(较低灰度)反而优于复杂骨架(较高灰度),因为数据驱动组件需要从有限数据中提取案例特定知识,而复杂骨架已消耗了大部分可学习信号。这与数据丰富场景下的直觉相反,表明最佳灰度水平取决于数据数量,为小数据下混合模型设计提供了重要指导。
在讨论部分,研究人员指出混合模型有效的关键在于动力学骨架与数据驱动组件编码互补信息。小数据下,简单骨架提供通用物理约束,引导ANN高效提取案例特定动态;复杂骨架虽单独拟合良好,但抑制了ANN的增量学习能力。此外,由于跨尺度参数估计需要大量数据,采用固定参数的迁移学习不切实际,而基于TVP的迁移学习能利用每个时间步的放大信息,因此更适合数据稀缺场景。
研究结论可概括为:混合建模与迁移学习结合能有效应对有限数据下的生物过程放大挑战;灰度水平显著影响混合模型构建和迁移学习适用性,小数据下简单骨架可促进数据驱动组件提取有效信息,复杂骨架反而导致过参数化;通过迁移学习,中试和工业规模预测MAPE大幅降低,验证了该策略的高数据效率。该工作首次在跨实验室、中试和工业规模的真实实验中证明了其可行性,但结论不应过度泛化,未来需结合模型导向的实验设计以进一步提升模型可靠性。