【动手学运动规划】 5.2 数值优化基础:梯度下降法,牛顿法

文章预览

朕四季常服, 不过八套.   — 大明王朝1566  道长 🏰 代码及环境配置 ：请参考 环境配置和代码运行 ! 上一节我们介绍了数值优化的基本概念, 让大家对最优化问题有了基本的理解. 那么对于一个具体的问题, 我们应该如何求解呢? 这一节我们将介绍几个基本的求解方法, 为了简化问题, 我们会基于无约束凸优化问题来做解释. 因为无约束凸优化问题, 梯度为0的点(极值点), 就是全局最优解. 最优化问题的求解是一个迭代的过程, 从初始点(初始解) 开始, 通过迭代方法(梯度下降法, 牛顿法等)逐步更新 , 直至逼近最优解 . 上图形象的展示了这个迭代的过程, 从初始解start点开始, 逐步迭代至最优解. 在这个1维问题上, 迭代方向只有左和右(-, +), 我们如何确定迭代的方向和步长呢? 或者更高维度的问题里, 如何确定每个维度的方向和步长呢? 接下来我们介绍几个基础 ………………………………