用于聚合优化的分布式随机Frank–Wolfe算法:零阶和一阶方差降低方法

《IEEE Transactions on Automatic Control》:Distributed Stochastic Frank–Wolfe Algorithms With Zeroth and First-Order Variance Reduction for Aggregative Optimization

【字体: 大 中 小 】 时间:2025年12月31日 来源:IEEE Transactions on Automatic Control 7

编辑推荐:

  本文提出针对约束分布式随机聚合优化问题的一阶和零阶Frank-Wolfe算法,通过引入动量方差减少技术提升收敛效率,理论证明两种算法均达到O(k^{-1/2})的收敛速度。

  

摘要:

本文研究了在受限环境下分布式随机聚合优化(DSAO)问题。在这种情况下,每个代理的局部期望值目标函数不仅受其自身决策的影响,还受到其他代理决策的影响,后者通过聚合期望值函数来体现。因此,该问题既涉及局部函数本身的固有随机性,也涉及聚合函数的固有随机性。为了解决这一问题,我们提出了一种新型的单循环、基于动量的方差降低分布式随机一阶Frank–Wolfe(FW)算法,该算法结合了FW算法、基于动量的方差降低技术和梯度跟踪方法。在凸函数和衰减参数的条件下,理论分析表明该算法的收敛速率为O(k?1。此外,在目标函数的梯度信息不可用的情况下,我们提出了基于动量的方差降低分布式随机零阶FW算法。理论证明,在与第一阶算法相似的条件下,该算法的收敛速率为O(k?12。据作者所知,这是首次将方差降低技术应用于分布式零阶算法,以解决具有封闭凸集的(聚合)凸优化问题。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号