【斯坦福博士论文】超越最大似然估计：分布感知机器学习

文章预览

传统的机器学习方法通常依赖于最大似然估计（MLE），因为其实现简单且等价于最小化KL散度 。然而，仅通过最大化似然进行训练的模型往往缺乏在实际应用中所期望的某些特性，如不确定性的量化、对分布外输入的鲁棒性，或遵守隐私约束。随着机器学习模型被越来越广泛地部署，这些重要特性变得比以往任何时候都更加必要。不幸的是，能够提供这些特性的方法在当今的大模型和大数据集下通常难以实现。 在本论文中，我们提出了若干贡献，以提高超越最大似然方法的可操作性 。首先，我们在多个领域改进了贝叶斯机器学习。这使得我们能够恢复感兴趣参数的完整后验分布，而不是最大似然方法所给出的点估计。其次，我们在顺序任务中实现了新颖的训练方案，包括强化学习和序列建模。在强化学习的案例中，这使我们能够开发不会泄露私 ………………………………