反事实危害感知的离线策略学习:危害度量的可识别性与约束优化
《Entropy》:Offline Policy Evaluation and Learning with Harm Constraints
【字体:
大
中
小
】
时间:2026年09月26日
来源:Entropy 2.1
编辑推荐:
离线策略学习旨在利用历史数据来优化个体化决策。然而,传统方法主要关注最大化期望奖励,而忽视了个体层面的反事实危害——即被分配的治疗方案导致的结果比对照组更差的情况。这可能导致过于激进的策略,从而对部分个体造成伤害。在本文中,我们提出了一种反事实危害感知的策略学习框架,该框架能
离线策略学习旨在利用历史数据来优化个体化决策。然而,传统方法主要关注最大化期望奖励,而忽视了个体层面的反事实危害——即被分配的治疗方案导致的结果比对照组更差的情况。这可能导致过于激进的策略,从而对部分个体造成伤害。在本文中,我们提出了一种反事实危害感知的策略学习框架,该框架能够有效地在期望奖励与个体层面的危害之间取得平衡。为了量化危害,我们提出了两种度量指标:治疗危害率(THR),用于衡量受到伤害的个体比例;以及治疗危害量(THQ),用于衡量危害的严重程度,尤其适用于连续型结局。一个关键挑战在于,THR和THQ都取决于潜在结果的联合分布,而该联合分布通常是不可识别的,即使在随机对照试验中也是如此。为了解决这一问题,我们引入了一个加法潜变量模型,在该模型下建立了THR和THQ的可识别性,并开发了相应的估计量。这些估计量随后被用于在显式危害约束下学习策略。大量实验证明了所提方法的有效性。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号