以Langevin Diffusion为例，探索如何将采样视为优化问题

文章预览

©PaperWeekly 原创 · 作者 |   Rui-Yang Zhang 单位 |   Lancaster University UK 研究方向 |  Computational Statistics 采样（sampling）与优化（optimization）的联系是错综复杂的。近年来，Applied Mathematics、Computational Statistics、Machine Learning 等领域的学者开始逐步探索采样与优化这两个课题之间的联系。本文以 Langevin Diffusion 为例，粗略刻画一些比较成熟的、有启发性的脉络。 更多这个方向的内容和背景可以参考 Sinho Chewi, Jonathan Niles-Weed, Philippe Rigollet 前段时间挂在 arxiv 上的书 Statistical Optimal Transport（https://arxiv.org/abs/2407.18163）。 视采样为优化问题 采样与优化最直接的联系是通过 Variational Inference（VI），又名 Variational Bayes，是机器学习中十分常见的推断手段。Variational Inference 的核心思想如下： 假定我们有目标概率分布 ，我们试图用 来逼近它，其中 是一族以 为参 ………………………………