优化思路千万种，基于下界函数的最优化效率如何？

文章预览

作者丨stephenDC 来源 | 大数据与人 工智能（ID:ai-big-data） 导读：生活中我们处处面临最优化的问题，比如，怎么样一个月减掉的体重最高？怎么样学习效率最高？怎么样可以最大化实现个人价值？   显然，每一个目标都受很多因素的影响，我们称之为目标函数的最优化。 优化的思路有很多种，比如基于梯度的梯度下降，基于二阶梯度的牛顿法，基于近似的二阶梯度的拟牛顿法，基于下界函数的最优化，贪婪算法，坐标下降法，将约束条件转移到目标函数的拉格朗日乘子法等等。 本文我们讨论一下基于下界函数的最优化，且将讨论的范围限定为无约束条件的凸优化。 基于下界函数的优化 在有些情况下，我们知道目标函数的表达形式，但因为目标函数形式复杂不方便对 ………………………………