用于聚合优化的分布式随机Frank–Wolfe算法:零阶和一阶方差降低方法
《IEEE Transactions on Automatic Control》:Distributed Stochastic Frank–Wolfe Algorithms With Zeroth and First-Order Variance Reduction for Aggregative Optimization
【字体:
大
中
小
】
时间:2025年12月31日
来源:IEEE Transactions on Automatic Control 7
编辑推荐:
本文提出针对约束分布式随机聚合优化问题的一阶和零阶Frank-Wolfe算法,通过引入动量方差减少技术提升收敛效率,理论证明两种算法均达到O(k^{-1/2})的收敛速度。
摘要:
本文研究了在受限环境下分布式随机聚合优化(DSAO)问题。在这种情况下,每个代理的局部期望值目标函数不仅受其自身决策的影响,还受到其他代理决策的影响,后者通过聚合期望值函数来体现。因此,该问题既涉及局部函数本身的固有随机性,也涉及聚合函数的固有随机性。为了解决这一问题,我们提出了一种新型的单循环、基于动量的方差降低分布式随机一阶Frank–Wolfe(FW)算法,该算法结合了FW算法、基于动量的方差降低技术和梯度跟踪方法。在凸函数和衰减参数的条件下,理论分析表明该算法的收敛速率为O(k?1。此外,在目标函数的梯度信息不可用的情况下,我们提出了基于动量的方差降低分布式随机零阶FW算法。理论证明,在与第一阶算法相似的条件下,该算法的收敛速率为O(k?12。据作者所知,这是首次将方差降低技术应用于分布式零阶算法,以解决具有封闭凸集的(聚合)凸优化问题。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号