强化学习在宏布局中的再评估:更强大的基准测试与亚10纳米技术验证

《IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems》:An Updated Assessment of Reinforcement Learning for Macro Placement

【字体: 大 中 小 】 时间:2025年12月17日 来源:IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems 2.9

编辑推荐:

  本文针对Google Brain团队在《自然》杂志发表的强化学习宏布局方法,开展了系统性可复现性评估。研究团队通过构建更强的模拟退火基线(集成多线程和"go-with-the-winners"元启发式算法)、开发亚10纳米新基准(包括TSMC 7nm Ariane的LEF/DEF转换和ASAP7实现),对最新AlphaChip版本进行从零训练和微调测试。结果表明,经过优化的经典启发式算法在资源消耗仅为1/4的情况下,仍显著优于最新RL方法,同时揭示了CT方法在稳定性、可扩展性方面的局限性,为EDA领域AI/ML方法的客观评估提供了重要参考。

  
在芯片设计领域,宏布局如同城市规划中的地标建筑布局,直接决定了整个芯片的性能、功耗和面积等关键指标。这个NP难问题困扰了学术界半个多世纪,传统方法包括模拟退火(SA)和静电模型等启发式算法。2021年,Google Brain团队在《自然》杂志发表了一项突破性研究,宣称其强化学习(RL)方法能在6小时内生成优于人类专家的芯片布局方案,这一成果引发了全球关注。
然而,科学的进步需要可复现的证据支撑。当研究团队试图重现这些令人振奋的结果时,发现原始论文承诺公开的代码和数据并未完全兑现,这为验证工作带来了巨大挑战。更令人担忧的是,Google内部的"更强基线"(SB)研究显示,经过适当优化的模拟退火算法反而优于《自然》论文中的RL方法。这种相互矛盾的发现凸显了独立验证和透明评估的重要性。
在此背景下,本研究对Google的电路训练(CT)框架及其最新AlphaChip版本进行了全面评估。研究人员不仅重现了原始实验,还构建了更强大的基准测试体系:通过集成多线程和"go-with-the-winners"元启发式算法,将模拟退火的效率提升了26%;同时开发了面向亚10纳米技术的新基准,包括将Google的TSMC 7nm Ariane测试用例从protobuf格式转换为行业标准LEF/DEF格式,并创建了缩放版本以评估方法的可扩展性。
关键技术方法包括:(1)构建增强型模拟退火基线,采用80个并行工作者和周期性同步策略;(2)建立商业评估流程,使用Cadence Genus 21.1进行逻辑合成,Innovus 21.1进行布局布线,评估布线后PPA指标;(3)对CT框架进行从零训练(CT-Scratch)和微调(CT-AC)对比,训练迭代次数扩展至400次以确保收敛;(4)开发可复现的分组流程,通过hMETIS共享库API确保标准单元聚类的一致性。
评估结果分析
在代理成本比较中,模拟退火在9个测试用例中的6个表现最佳,而CT-AC仅在2个用例中领先。特别是在布线线长(rWL)这一关键指标上,商业工具CMP在大多数情况下优于其他方法,而CT-AC在BlackParrot-GF12设计中的rWL比CMP高出34%。
资源效率对比更为显著:对于BlackParrot-NG45设计,CT-Scratch需要19,068个CPU小时,而增强型SA仅需896个CPU小时,资源消耗相差20倍以上。人类专家解决方案在大型宏密集型设计中继续展现优势,在5/6的情况下优于CT-AC。
稳定性研究
研究发现CT训练存在明显的随机性:在相同的机器、环境和随机种子下,不同运行可能产生收敛或发散两种截然不同的结果。这种不确定性使得结果验证需要多次重复实验。种子敏感性测试显示,CT-Scratch在代理成本上的变异与SA相似,但在布线后PPA指标上表现出更大的波动性。
预训练研究
预训练实验揭示了当前CT方法的局限性。虽然预训练有助于CT-Ariane-X4等大型设计收敛,但预训练数据集的多样性和规模对收敛性有显著影响。研究发现,过高的多样性反而导致预训练发散,而基于切片的方法虽能快速提升放置回报,但最终性能仍不及基于多样化TPU块预训练的模型。
代理成本与真实指标的相关性
研究还发现,CT优化的代理成本与最终布线后PPA指标之间相关性较弱。在高质量解决方案区域,代理成本与其组成部分与真实芯片指标之间的Kendall等级相关系数大多低于0.4,这表明单纯优化代理成本并不能保证获得更好的实际芯片性能。
本研究通过严谨的实验设计和透明的评估方法,证实了经过精心优化的经典启发式算法在宏布局问题上仍保持竞争优势。增强型模拟退火在资源消耗仅为RL方法1/4的情况下,在多数测试用例中实现了更优的性能表现。同时,研究揭示了RL方法在稳定性、可扩展性和资源需求方面的挑战,为未来AI/ML在EDA领域的应用提供了重要参考。
这项工作的重要意义在于为学术争议提供了数据驱动的解决方案,强调了可复现性研究和开放科学的重要性。随着芯片设计复杂度持续增加,对算法性能的客观评估和透明比较将成为推动领域发展的关键动力。研究过程中构建的完整实验框架和基准数据集已通过MacroPlacement GitHub仓库公开,为后续研究提供了坚实基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号