《Advanced Intelligent Systems》:Bayesian Optimization–Reinforcement Learning Hybrid Framework for a-IGZO Thin-Film Transistor Compact Model Parameter Extraction in 2T0C Dynamic Random Access Memory Applications
编辑推荐:
**中文摘要**:在这项工作中,研究人员提出了一种用于a-IGZO TFT紧凑模型参数提取的两阶段BO–RL混合框架。该策略结合了贝叶斯优化(BO)和强化学习(RL)的互补优势:BO执行全局探索并提供优化起点,而RL在缩小的搜索域内进行局部细化。实验结果表明,
**中文摘要**:在这项工作中,研究人员提出了一种用于a-IGZO TFT紧凑模型参数提取的两阶段BO–RL混合框架。该策略结合了贝叶斯优化(BO)和强化学习(RL)的互补优势:BO执行全局探索并提供优化起点,而RL在缩小的搜索域内进行局部细化。实验结果表明,该混合方法在保持与单独使用BO或RL统计上相当的拟合精度的同时,显著提高了提取效率。在相等的4000次仿真预算下,跨五个独立随机种子的实验显示,BO–RL的拟合质量与BO统计上相当,而单独的RL样本效率仍低一个数量级;RL细化阶段无需代理模型重新拟合,因此其单次仿真成本保持低且恒定,该框架在无需BO不断增长的优化开销的情况下达到了相当的拟合质量。研究人员使用a-IGZO TFT紧凑模型验证了该框架,结果显示提取参数后的SPICE仿真与实测C–V/I–V曲线具有良好的一致性。基于a-IGZO 2T0C单元的电路级瞬态仿真展示了写入/保持操作,其保持时间为172秒。
**论文解读**
**研究背景与现存问题**
动态随机存取存储器(Dynamic Random Access Memory,DRAM)是现代数字系统中的关键组件,对云计算、边缘计算、物联网和人工智能的发展至关重要。然而,存储墙(memory wall)问题,即CPU与片外存储器之间的速度不匹配所造成的瓶颈,仍是未解决的挑战。三维(3D)集成技术为克服存储墙问题提供了有前景的解决方案,但3D DRAM单元的微缩日益困难。在传统的1T1C DRAM中,存储电容的需求限制了进一步微缩。此外,减小单元尺寸会增加晶体管的关态电流,使得维持当前64毫秒的刷新时间变得困难。
在2T0C架构中,利用读晶体管的栅氧化层电容(C
OX)作为存储电容,可实现无电容DRAM单元,具备非破坏性读取和用于存内/神经形态计算的模拟权重存储能力。由于存储节点电容(C
SN)远小于1T1C结构,其保持特性对关态电流极为敏感。铟镓锌氧化物(IGZO)薄膜晶体管(TFTs)以其超低关态电流和与后端(BEOL)工艺兼容的特性,能减少DRAM单元泄漏并实现堆叠式DRAM集成。
紧凑模型(compact model)对于基于IGZO的2T0C DRAM电路级验证至关重要,它连接了器件制造与电路设计。查找表(LUT)紧凑模型实现简单、开发周期短,但其精度依赖于高质量数据,在插值范围外的行为可能不可靠,且较大的LUT会增加运行时间和内存使用。相比之下,基于物理的紧凑模型通过方程和参数描述I–V/C–V特性,避免了大型LUT的依赖。传统上,手动拟合是紧凑模型参数提取的主要方法,但这既高度依赖专家经验又耗时,通常需要数天或数周的迭代过程。基于机器学习(ML)的优化通过自动化提取过程提供了一种有效的替代方案,但实现高精度需要在高维参数空间中进行计算密集的优化,导致显著运行时间。因此,提高样本效率(即用更少的优化试验达到高精度)变得至关重要。为此,各种优化策略已被应用于紧凑模型参数提取,包括深度学习(DL)、遗传算法(GA)、强化学习(RL)和贝叶斯优化(BO)。近期,结合多种算法互补优势(如全局探索和局部细化)的混合策略已被研究并显示出提高样本效率的潜力。
**研究内容与结论**
针对上述问题,研究人员提出了一种用于紧凑模型参数提取的BO–RL混合框架,该框架无需预训练且计算需求低。该策略遵循两阶段优化流程。在第一阶段,BO执行全局探索,在高维参数空间中找到有希望的区域,其找到的最佳点作为RL的优化起点,同时参数边界被收缩以构建一个缩减的搜索空间。在第二阶段,RL在此缩减域内进行局部细化。这种混合策略结合了BO全局探索与RL局部细化的互补优势,以实现增强的样本效率。研究人员通过使用基于物理的紧凑模型提取参数来匹配a-IGZO TFT的实测与仿真C–V/I–V曲线,验证了该框架。同时,将该框架与BO和RL基线在拟合误差、优化试验次数和运行时间方面进行了比较,显示出更高的样本效率。最后,使用提取的参数对2T0C DRAM单元进行电路级SPICE仿真,验证了写入/保持操作和保持特性,表明了基于a-IGZO的2T0C DRAM在存储应用中的可行性。该工作的主要贡献是一个免训练的混合框架,使得基于RL的参数提取变得实用:通过BO优化的起点和缩减的搜索域引导RL阶段,使其拟合质量在相同仿真预算下达到与BO统计上相当的水平,且其单次仿真优化成本在整个运行过程中保持低且恒定,不像BO的代理重拟合开销不断增长。该框架无需预训练数据集,并减少了对专家手动调参的依赖。该研究成果发表于《Advanced Intelligent Systems》。
**主要关键技术方法**
该研究采用的主要技术方法包括:贝叶斯优化(BO),利用高斯过程(GP)代理模型和上置信界(UCB)采集函数进行全局探索;软演员-评论家(SAC)强化学习算法,在连续动作空间中学习策略以进行局部细化;域缩减技术,通过收缩因子ρ在BO找到的最佳点周围构建缩减的搜索空间;以及基于对数尺度绝对误差的损失函数,用于评估仿真与实测曲线间的失配。实验中使用的a-IGZO TFT实测C–V和I–V数据集由韩国浦项科技大学(POSTECH)的ISWD实验室提供,样品包括写晶体管(W/L=80μm/20μm)和读晶体管(W/L=200μm/20μm)。
**研究结果**
* **不同算法之间的比较**:在相同的4000次SPICE仿真预算下,所有三种方法(BO、RL、BO–RL)都能提升目标函数值J
total,但收敛行为不同。BO在早期仿真中比RL提升更快,归因于其有效的全局探索。BO–RL混合方法在前1600次仿真中使用BO,随后切换到RL在缩减域中进行细化。在4000次仿真内,BO–RL混合方法的平均最佳J
total在统计上与BO相当,且两者均远优于单独的RL。在计算效率方面,以固定的目标阈值J
total= ?1.2为基准,BO–RL仅需1930次仿真即可达到阈值(比BO少73.7%,比RL少89.5%),总优化时间为1.98小时(比BO快91.1%,比RL快87.3%)。
* **参数提取与模型验证**:使用提出的BO–RL框架提取a-IGZO TFT紧凑模型参数后,SPICE仿真得到的C
G–V
G、I
D–V
G和I
D–V
D曲线与实测数据表现出良好的一致性,验证了提取参数的有效性和框架的实用性。
* **2T0C DRAM单元电路级仿真**:利用提取的参数,对a-IGZO 2T0C DRAM单元进行了电路级瞬态SPICE仿真,成功演示了写入/保持操作,并测得保持时间为172秒,表明了基于a-IGZO的2T0C DRAM在存储应用中的可行性。
**讨论与结论**
研究提出的BO–RL混合框架通过结合BO的全局探索和RL的局部细化能力,有效解决了紧凑模型参数提取中样本效率低下的问题。该框架无需预训练数据集,降低了对专家手动调参的依赖,并且其单次仿真优化成本低且恒定,避免了BO中代理模型重拟合开销不断增长的问题。研究结论表明,该混合方法在等量仿真预算下,其拟合质量与BO统计上相当,但计算效率显著提升,同时使基于RL的参数提取变得切实可行。该框架的成功验证不仅证明了其在a-IGZO TFT紧凑模型参数提取中的有效性,也为其他复杂器件模型的参数提取提供了一种高效、通用的解决方案。电路级仿真结果进一步证实了基于a-IGZO的2T0C DRAM用于存储应用的潜力。