【博士论文】Stein变分梯度下降与基于共识的优化：趋向于收敛分析与泛化

文章预览

来源：专知 本文 为论文介绍 ，建议阅读 5 分钟 本论文将重点关注两种类型的相互作用粒子系统：用于采样的Stein变分梯度下降（SVGD）和用于全局优化任务的基于共识的优化（CBO）。 这篇论文的第一部分研究了Stein变分梯度下降（SVGD）的收敛性质，这是一种在机器学习中有应用的采样算法。研究深入探讨了SVGD在总体极限下的理论分析，重点关注其在不同条件下的行为，包括Talagrand不等式T1和(L0, L1)平滑性条件。研究还引入了一种改进版本的SVGD，具有重要权重，展示了其加速收敛和增强稳定性的潜力。 在第二部分，论文探讨了基于共识的优化（CBO）方法的收敛性。我们首先提出了带截断噪声的共识优化方法，并为该方法提供了非凸和非光滑目标函数的全局收敛性理论保证。我们还设计了一种CBO动态，以找到具有多个全局最优解的目标的全局最优解 ………………………………