机器学习优化算法:梯度下降、牛顿法、拟牛顿法
demi 在 周二, 07/31/2018 - 11:51 提交
1、梯度下降法
梯度下降法实现简单,当目标函数是凸函数时,梯度下降法的解是全局解。一般情况下,其解不保证是全局最优解,梯度下降法的速度也未必是最快的。
梯度下降法的优化思想:用当前位置负梯度方向作为搜索方向,因为该方向为当前位置的最快下降方向,所以也被称为是”最速下降法“。最速下降法越接近目标值,步长越小,前进越慢。
缺点:
(1)靠近极小值时收敛速度减慢,求解需要很多次的迭代;
(2)直线搜索时可能会产生一些问题;
(3)可能会“之字形”地下降。
2、牛顿法
牛顿法最大的特点就在于它的收敛速度很快。
优点:二阶收敛,收敛速度快;