【图灵VIP严选课程】JAVA互联网架构师专题/分布式/高并发/微服务

本文主要是介绍【图灵VIP严选课程】JAVA互联网架构师专题/分布式/高并发/微服务，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

（1）Backpropagation（反向传播）

　　后向传播是在求解损失函数L对参数w求导时候用到的方法，目的是通过链式法则对参数进行一层一层的求导。这里重点强调：要将参数进行随机初始化而不是全部置0，否则所有隐层的数值都会与输入相关，这称为对称失效。

（2）梯度消失、梯度爆炸

　　梯度消失：这本质上是由于激活函数的选择导致的，最简单的sigmoid函数为例，在函数的两端梯度求导结果非常小（饱和区），导致后向传播过程中由于多次用到激活函数的导数值使得整体的乘积梯度结果变得越来越小，也就出现了梯度消失的现象。

　　梯度爆炸：同理，出现在激活函数处在激活区，而且权重W过大的情况下。但是梯度爆炸不如梯度消失出现的机会多。

这篇关于【图灵VIP严选课程】JAVA互联网架构师专题/分布式/高并发/微服务的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！

Java教程