《Information》:QCNN-Inspired Variational Circuits for Enhanced Noise Robustness in Quantum Deep Q-Learning
Louyang Yu,
Wenbin Yu,
Yadang Chen and
Chengjun Zhang
编辑推荐:
量子强化学习(QRL)通常在理想化的无噪声假设下进行评估,然而真实量子器件不可避免地会引入噪声,并可能严重降低性能。本文通过重新设计用于其价值函数逼近器的变分量子电路(VQC),提升量子深度Q学习(QDQN)的鲁棒性。受近期量子卷积神经网络(QCNN)进展的启
量子强化学习(QRL)通常在理想化的无噪声假设下进行评估,然而真实量子器件不可避免地会引入噪声,并可能严重降低性能。本文通过重新设计用于其价值函数逼近器的变分量子电路(VQC),提升量子深度Q学习(QDQN)的鲁棒性。受近期量子卷积神经网络(QCNN)进展的启发,研究人员通过将具有代表性的QCNN双量子比特构建模块与显式全连接(all-to-all)层相结合,构建了4种受QCNN启发的VQC变体(模型A–D)。在固定噪声水平 p = 0.005 的10次重复评估协议下,模型D表现出最佳鲁棒性,将达到目标奖励所需回合数的均值从1981(基线)降低至1243。在更严格的成功判据下,模型D还将经验观察到的噪声容忍边界从0.002提升至0.004,实现加倍。这些结果表明,经过审慎选择的QCNN风格电路组件及其连通性能够显著提升类QDQN量子强化学习智能体的噪声鲁棒性。
本文发表于《Information》,聚焦于噪声中等规模量子(NISQ)计算背景下量子强化学习(QRL)的核心瓶颈——噪声导致的学习性能退化问题。现有量子深度Q学习(QDQN)研究通常在理想无噪环境中验证算法有效性,但真实量子器件中的退极化噪声等非理想因素会扭曲量子态、模糊测量统计并破坏时序差分更新稳定性,使得基于变分量子电路(VQC)的价值函数逼近器在实际部署时面临显著鲁棒性挑战。与此同时,既有研究已表明,VQC的可表达性、纠缠能力与参数化方式会深刻影响优化地形与学习行为,因此,在噪声条件下,电路结构设计本身可能决定QRL系统能否稳定工作。基于这一认识,研究人员未采用外部误差缓解策略,而是将噪声鲁棒性提升视为一项结构性设计问题,尝试从电路架构层面重构QDQN中的VQC。
为解决上述问题,研究人员保留标准深度Q网络(DQN)训练框架不变,仅替换其中的VQC型Q函数逼近器,提出4种受量子卷积神经网络(QCNN)启发的变体结构,即模型A–D。该研究借鉴QCNN在层级特征提取、局域结构处理以及特定条件下缓解贫瘠高原(barren plateau,指梯度近乎消失的优化困难)方面的优势,将代表性的双量子比特电路模板嵌入四量子比特VQC,并在部分模型中引入显式全连接量子层,以增强跨量子比特的全局信息混合能力。研究人员在OpenAI Gym的CartPole-v1控制任务上,通过受控退极化噪声注入,对各模型在固定噪声和边界噪声条件下的表现进行系统比较。结果表明,并非所有QCNN风格结构都能提升鲁棒性,但其中模型D在固定噪声水平和严格成功判据下均优于基线模型,显示出更高的样本效率与更强的噪声容忍能力。论文的重要意义在于证明:对于类QDQN量子智能体而言,噪声鲁棒性可以通过电路结构归纳偏置与精细参数化获得实质改善,而无须额外依赖外部误差缓解机制;同时,研究也强调了量子强化学习架构设计需要建立在严格重复评估基础之上。
研究人员采用的关键技术方法主要包括以下几方面:其一,在方法框架上沿用标准DQN流程,包括经验回放池、目标网络与 ?-贪婪(
??-greedy)探索,仅将Q函数逼近器替换为四量子比特VQC;其二,从QCNN双量子比特模板库中选取“平衡型”与“高可表达型”模块,组合形成模型A–D,并在模型C、D中额外加入全连接量子层;其三,在OpenAI Gym的CartPole-v1任务上,于TensorFlow Quantum框架中实施受控退极化噪声实验;其四,采用10次重复运行评估与类似二分搜索的边界测试,分别衡量固定噪声下达到奖励阈值的回合数,以及满足严格成功标准时的最大噪声容忍边界。
以下结合论文主体各部分结果进行解读。
引言
论文首先从强化学习(RL)的序贯决策框架出发,指出量子计算与强化学习的结合正在成为一个快速发展的交叉方向。随着可编程超导量子处理器等硬件进步,以及“在完全容错前实现实用量子计算”的可能性不断增强,面向NISQ设备的学习算法研究愈发重要。但当前QRL仍普遍受到量子噪声制约,尤其是VQC虽然适合混合量子–经典优化,却对电路架构高度敏感。在此背景下,研究人员提出将噪声鲁棒性从事后评估目标转化为前置设计目标,并以QCNN启发结构重构QDQN中的VQC。
Related Work
相关工作部分系统梳理了QRL、VQC、QCNN及噪声建模的发展脉络。研究人员指出,早期QRL研究主要关注量子系统如何支撑学习与控制,后续工作逐步扩展到混合量子–经典智能体与现实硬件约束下的可实现方案。在价值型方法中,VQC已被用于QDQN式Q函数近似,但已有结果反复表明,电路可表达性与纠缠特性会显著影响训练结果。另一方面,QCNN作为量子卷积处理的类比架构,已显示出在特征提取和优化稳定性方面的潜力。由此,本文工作相较既有QDQN研究的主要推进,在于将QCNN风格局域结构与增强连通性引入QRL场景,并围绕噪声鲁棒性开展对照评估。
Method
方法部分给出了完整的架构设计逻辑。研究人员保留标准DQN的训练回路,利用VQC输出动作价值向量 {Q(s,a;θ)}
a∈??,并以时序差分(TD)目标
y = r + γmax
a′Q
tgt(s′,a′;θ
?)
和平方TD误差损失
?(θ) = ??[(y ? Q(s,a;θ))
2]
进行优化。基线VQC由数据编码层与重复的可训练层组成,后者包含单量子比特旋转和链式纠缠结构。为改进这一结构,研究人员引入受QCNN启发的双量子比特模块,构建四种新的四量子比特VQC。模型A、B不含全连接层,分别采用不同“平衡型”双量子比特模板及其对应纠缠模式;模型C、D则建立在更高可表达性的模板之上,并增加全连接量子层以实现 all-to-all 信息混合。值得注意的是,模型C与D整体结构相同,仅在全连接部分采用不同旋转门:模型C使用参数化 R
z,模型D使用参数化 R
x。这一细微差异被论文证明会显著影响噪声下学习鲁棒性。
Experiments
实验部分在OpenAI Gym的CartPole-v1任务上展开,环境具有4维连续状态空间和2维离散动作空间。所有QDQN类模型均在TensorFlow Quantum框架下实现,并保持相同训练配置,仅改变内部VQC架构。研究人员设计了三步评估协议。第一步为无噪声比较,用于检验各模型在理想环境中的基本可行性;第二步为主鲁棒性实验,在退极化噪声 p = 0.005 下,将最高训练回合上限放宽至5000,并将目标奖励调整为300,以比较模型在噪声中的样本效率;第三步为噪声容忍边界测试,在严格条件“2000回合内达到奖励500”下,采用类似二分搜索的方法估计各模型可稳定满足条件的最大噪声概率 p。考虑到强化学习训练具有随机性,全文采用10次重复运行评估,并报告均值及相关统计量,以提升模型比较的可靠性。
Step 1: Noise-free comparison
无噪声比较结果表明,基线模型通常在1000余回合范围内达到目标奖励500。模型B与模型C总体趋势与基线接近,表现存在一定随机波动;模型A则常难以在2000回合内达到目标;模型D则通常能以更少回合达到目标奖励,在理想设置下已表现出较优趋势。该结果说明,并非所有QCNN启发结构在无噪场景下都具备优势,但模型D已展现潜在改进方向。
Step 2: Robustness comparison under depolarizing noise
在退极化噪声 p = 0.005、目标奖励300的主鲁棒性实验中,研究人员指出曲线越低代表越早达到阈值,也即鲁棒性越强。代表性运行显示,模型A和模型C在噪声下性能退化明显,其达到阈值的速度慢于基线;模型B与基线大致接近;模型D则最为稳健,能以更少训练回合达到目标奖励。进一步通过10次独立重复运行汇总后,模型D达到奖励300所需回合数均值为1243,显著优于基线的1981,减少738回合,降幅约为37.3%。相比之下,模型A与模型C的平均表现均劣于基线,模型B则仅与基线接近。尤其值得关注的是,模型C与模型D共享相同总体结构,仅全连接部分旋转门轴不同,却呈现出截然不同的鲁棒性趋势:模型D明显提升,而模型C反而变慢甚至差于基线。这一结果直接支持论文核心观点,即噪声环境下量子强化学习的表现对门级参数化选择极其敏感。
Step 3: Noise-tolerance boundary
在严格判据“2000回合内达到奖励500”的噪声边界测试中,研究人员利用类似二分搜索的方法估计最大可容忍退极化噪声概率。结果显示,基线以及模型A–C的边界均为 p = 0.002,而模型D将这一边界提升至 p = 0.004,实现了经验噪声容忍边界的加倍。该发现表明,模型D不仅在固定噪声强度下更高效,而且在更严格成功标准下也具有更强的稳定运行能力。
Discussion and Conclusions
讨论部分强调,本文的核心贡献在于通过架构级重构提升QDQN中VQC的噪声鲁棒性,而非借助外部误差缓解。实验结果显示,QCNN风格电路模块确实可能带来优势,但这种优势并不单调,也并非简单引入QCNN局域结构或提高表面可表达性即可自动获得。研究结果更支持这样一种观点:有效鲁棒性的形成依赖于可表达性、连通性与参数化之间的平衡匹配。模型C与模型D的显著分化进一步说明,即便是看似微小的旋转轴差异,也可能通过改变有效函数类、梯度几何与时序差分学习稳定性,最终放大为明显的鲁棒性差异。论文同时指出,全连接量子层只有在与合适参数化结合时才表现出益处,说明“增强连通性”本身并不足够,必须服务于稳定的噪声下优化过程。
论文也明确总结了研究局限。其一,实验仅在单一控制任务CartPole-v1和单一退极化噪声模型下开展,尚未覆盖更复杂任务与更真实的硬件噪声类型;其二,当前评估主要基于达到阈值所需回合数和经验噪声边界,尚缺乏对Q值稳定性、超参数敏感性等更细机制的诊断;其三,所探索的架构空间较小,模型A–C的负面结果表明,后续仍需更系统的电路搜索与消融优化。
结论部分可译为:研究人员提出了受QCNN启发的QDQN变分量子电路架构,并在退极化噪声下开展了受控鲁棒性评估。在所测试的设计中,模型D在固定噪声下的样本效率以及估计的噪声容忍边界两方面均表现出清晰且可重复的鲁棒性提升。这些结果进一步支持如下论点:QCNN风格的归纳偏置与审慎的电路参数化能够增强类QDQN智能体在有噪量子硬件上的性能。未来工作应扩展至更多环境、更加真实的噪声模型,并结合系统化电路发现策略,以更深入理解哪些架构特征能够稳定转化为噪声鲁棒性。