参考:https://blog.csdn.net/xbmatrix/article/details/56682466 一、最优化方法 指在某些约束条件下,决定某些可选择的变量应该取何值,使所选定的目标函数达到最优的问题。 常见情形:利用目标函数的导数通过多次迭代来求解无约束最优化问题。 实现简单,coding 方便,是训练模型的必备利器之一。
大纲: 1.最速下降法 2.共轭梯度法 3.牛顿法 4.拟牛顿法 5.约束非线性优化 6.KKT条件
参考书籍:统计学习方法、西瓜书