继上文通过视频对经典最优化方法进行学习之后

本文准备进一步通过博客，论文等学习一些经典方法的变体和其它方法

阻尼牛顿法

为了解决牛顿法每次步长无法控制，有时候不能收敛的缺点。所以每次在前进方向进行一次一维搜索，确定结果不会发散

牛顿法因为其目标函数的海森阵不一定能保持正定，每次迭代计算二阶偏导的计算量过大，所以开始有研究拟牛顿法。

包含DFP算法，BFGS算法，L-BFGS算法。在该系列博客中。其中L-BFGS相对于BFGS占用的内存更少。