视频链接: https://www.bilibili.com/video/BV1Wv411h7kN?p=13
critical point 有时不是训练时的最大障碍->当loss不再下降时, gradient真的很小吗?
下图 在 error surface反复横跳
对于convex(等高线为椭圆)的error surface,设置大/小的学习率的结果 -无法靠近critical point
在某一方向比较平坦,希望learning rate大,
比较陡峭则:smaller learning
Adaptive learning:
将步长调节为与参数i和与时间有关的参数
将可调节参数化为过去梯度的平均再开根号
上述为Adagrad的核心思想
最早出现在 Hinton的公开课
方向 梯度 都加权
自动调整学习率:
梯度小的地方sigma小,作为分母使得学习率变大。
学习率衰减 使得越接近终点的 走的越缓慢
warm up: learning rate先变大后变小
RAdam论文有详细讲解
残差网络便使用了这个调参策略
(0.01->0.1)
Transformer:
m与sigama都考虑过去所有gradiant
但动量momentum是是把过去所有的梯度直接相加,考虑了方向
sigma考虑大小:
总结:
Adam 学习率调整分为三部分:
动量m 调整方向
sigma 调整大小
η (一般decay or warm up)控制整体趋势