熵驱动动作随机化:深度强化学习中环境隐私的部署时防御

《Electronics》:Entropy-Driven Action Randomization: A Deployment-Time Defense for Environment Privacy in Deep Reinforcement Learning

【字体: 大 中 小 】 时间:2026年07月09日 来源:Electronics 2.9

编辑推荐:

  深度强化学习(DRL)智能体隐式记忆其训练环境的结构,使得攻击者可通过查询部署模型的动作输出重建该环境,导致环境隐私泄露。为解决此问题,本研究提出熵驱动动作随机化(EDAR),一种部署时动作随机化防御。受差分隐私(DP)中的指数机制启发,EDAR基于归一化Q值

  
深度强化学习(DRL)智能体隐式记忆其训练环境的结构,使得攻击者可通过查询部署模型的动作输出重建该环境,导致环境隐私泄露。为解决此问题,本研究提出熵驱动动作随机化(EDAR),一种部署时动作随机化防御。受差分隐私(DP)中的指数机制启发,EDAR基于归一化Q值效用函数,用概率动作采样替代确定性贪婪动作选择,且不改变已训练策略。进一步设计了一种状态自适应动态隐私预算,由动作分布的香农熵(Shannon entropy)引导。采用基于模拟退火的策略逆攻击量化隐私泄露,以归一化恢复率(NRR)作为度量。在7×7至13×13的GridWorld环境上的实验表明,在与强固定预算相当的隐私水平下,所提动态预算将奖励保留率从6.2%提升至78.9%,同时保持可比的NRR降低。这些结果表明,将隐私预算适应于每状态策略确定性,相比现有基于训练扰动的方法,能实现显著更好的隐私-效用权衡。研究人员在此澄清,所调用的差分隐私性质是在固定训练模型下,针对相邻观测状态的每查询、机制级不可区分性保证。环境结构本身的保护通过策略逆攻击进行经验性验证。实验在离散GridWorld导航任务上进行;结论仅限于小规模基于值的导航场景。
深度强化学习(DRL)智能体在训练过程中通过与环境交互,将环境结构信息隐式编码到策略中,导致部署后攻击者可通过黑盒查询动作输出重建训练环境,引发环境隐私泄露。现有防御方法主要集中于训练阶段引入差分隐私(DP)噪声,存在计算开销大、政策收敛后仍编码环境信息等局限。为解决上述问题,研究人员在《Electronics》上发表论文,提出熵驱动动作随机化(EDAR),一种部署时动作随机化防御,旨在不修改训练流程的前提下,通过扰乱查询接口实现隐私保护,并取得更优的隐私-效用权衡。

研究人员主要采用以下关键技术方法:基于指数机制(Exponential Mechanism)的部署时动作随机化,将归一化Q值作为效用函数,实现每查询动作的ε-差分隐私保证;基于香农熵(Shannon entropy)的状态自适应动态隐私预算策略,在低熵(高确定性)状态施加更强扰动;基于模拟退火(SA)的策略逆攻击,用于量化隐私泄露,以归一化恢复率(NRR)为度量。实验在四种尺寸(7×7至13×13)的GridWorld环境上进行,使用Double DQN(DDQN)作为基础算法,观测为8维归一化LiDAR距离向量,样本队列为随机生成的网格地图。

研究结果如下:

**6.1 实验设置**:Double DQN智能体在1000个episode内收敛,提供稳定策略基准。

**6.2 隐私保护**:无防御时,攻击者在7×7、9×9、11×11地图上完全恢复内部结构(NRR=1.000),13×13地图上NRR=0.843。固定预算ε=0.1(强隐私)平均NRR=0.77;EDAR实现平均NRR=0.79,接近最强固定预算,且重建误差集中在走廊、角落等低熵区域,符合设计意图。

**6.3 效用分析**:强固定预算奖励保留率(RR)仅6.2%,平均步数134;EDAR奖励保留率为78.9%,成功率达100%,平均步数58,显著优于强固定预算,表明其通过低熵状态强扰动、高熵状态弱扰动打破隐私-效用权衡。

**6.4 与训练阶段DP方法比较**:对比DDQN-DP-SGD、PPO-DP-SGD、DQN-RewPerturb及DP-DRL四种方法。训练阶段低噪声导致NRR≈0.95(效用高但隐私差),高噪声导致策略崩溃且NRR仍达0.91。EDAR通过部署时扰动直接破坏查询信道,避免了训练阶段的内在矛盾。

**6.5 对查询预算的鲁棒性**:在9×9地图上,随每状态查询次数T从1增至150,EDAR的NRR从0.694升至0.959,呈现差分隐私组合的递增趋势。研究人员指出EDAR适用于查询受限场景(如认证API),对无限制黑盒攻击无法永久阻止。

**6.6 SA与GA攻击比较**:在7×7无防御地图上,SA攻击NRR=1.000,耗时约GA的1/4100,表明SA是更强更高效的评估工具。

**6.7 敏感性分析**:在9×9地图上变化预算上下界(ε_min=1, ε_max=10及其变动),EDAR始终呈现可预测的隐私-效用权衡;替代熵信号(平方根映射、top-2 Q值间隙)的NRR范围为0.82-0.85,奖励保留率74.0%-78.4%,证明EDAR优势对预算信号选择具有鲁棒性。

**讨论与结论**:研究总结指出,EDAR通过在部署时应用指数机制和状态自适应动态预算,在GridWorld环境中实现了接近最强固定预算的隐私保护(平均NRR 0.79),同时将奖励保留率从6.2%提升至78.9%,显著优于四种代表性训练阶段DP方法。当前评估限于离散GridWorld导航任务,差分隐私分析仅限于单查询、机制级保证。未来工作方向包括:扩展至连续状态空间和非导航任务;进行完整累积预算组合分析以实现端到端隐私保证;开发查询鲁棒变体(如缓存单次采样动作);以及结合层次化注意力不确定性估计(hierarchical attention-based uncertainty estimation)进一步优化每状态预算分配。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号