【博士论文】基于信息论的泛化理论方法，274页pdf

文章预览

在本论文中，我们研究了机器学习算法的分布内泛化，重点是建立严格的泛化误差上界 。我们引入并分析了量化学习算法与训练数据之间依赖关系的信息论界，脱离了传统的复杂性基础方法。我们考虑了两类泛化保证： - 期望保证 。这些界衡量平均情况下的性能。这里，算法与数据之间的依赖关系通常由互信息或基于f-散度的其他信息度量来捕捉。虽然这些度量提供了直观的解释，但可能忽视算法假设类的几何结构。为了解决这一限制，我们引入了使用Wasserstein距离的界，Wasserstein距离结合了几何考虑，但数学上更复杂。此外，我们提出了一种结构化、系统的方法，以推导出捕捉算法与单个数据之间以及算法与数据子集之间依赖关系的界，这些界是基于已知其他数据条件下的。这类界提供了更深入的见解，我们通过应用它们推导随机梯度Langevin动 ………………………………