-为什么要激活函数：

-线性变换无法扩展特征空间，得到的特征空间有限，线性的层只能学习到输入(输入空间)的线性变换(仿射变换)。

-非线性的激活函数能将输入空间映射到更丰富的特征空间。

-指示函数(indicator function)

-符号函数：

-感知器：

-接受几个二进制输入，并产生一个二进制输出。

-说明：激活函数要可导才能求解，感知机不连续无法求导。

-sigmoid\S型神经元：

-和感知器类似，但是被修改为权重和偏置的微⼩改动只引起输出的微⼩变化。

-说明：两端的倒数趋近于0，会导致参数长时间无法更新，导致梯度弥散。[※][Link]

-tanh神经元：

-tanh在RNN\LSTM中用的多一些。

-饱和激活函数＆非饱和激活函数：

-饱和激活函数：sigmoid和tanh。

-非饱和激活函数：ReLU及其变体。

-(1)能解决所谓的"梯度消失"问题。

-(2)函数计算简单，求导简单，它能加快收敛速度。

-Relu\修正线性神经元(rectified linear neuron)\修正线性单元(rectified linear unit)：

-优点：梯度为0或1不会变化，计算简单\快速\加快网络训练，相比sigmoid不容易出现梯度弥散\爆炸的情况。

-缺点：

-由于负数部分恒为0，会导致一些神经元无法激活。

-输出不是以0为中心的。

-Leak_relu：

-leakrelu是为了解决Relu函数0区间带来的影响，而且包含了relu的所有优点。

-负值的斜率是固定的，是预先定义的。其中k是leak系数比较小趋近于0，一般选择0.01或0.02或通过学习而来。

-Elu：

-Elu激活函数也是为了解决Relu的0区间带来的影响，但相对于leak_relu来说，计算要更耗时间一些。

-根据一些研究，ELU分类精确度是高于ReLU的。

-softplus：

-softplus函数与ReLU函数接近,但比较平滑,同ReLU一样是单边抑制,有宽广的接受域(0,+inf)。

-但是由于指数运算,对数运算计算量大的原因,而不太被人使用.并且从一些人的使用经验来看(Glorot et al.(2011a)),效果也并不比ReLU好。softplus的导数恰好是sigmoid函数。

-softmax：

-柔性最大值可看作一个概率分布。

-softmax近似方法：

-Word2vec中的分层(hierarchical) softmax是其中一种。

-softmax求导方法：

-二分类问题，应该选择sigmoid还是softmax？

-Sigmoid函数针对两点分布提出：

-分类成目标类别的概率P，而不分类到该类别的概率是(1 - P)。

-是对一个类别的"建模"。

-Softmax函数针对多项分布提出：

-当类别数是2时，它退化为二项分布。

-是对两个类别"建模"。

-理论上：

-两者是没有任何区别的。

-两点分布＆二项分布。[Link]

-经验上：

-对于NLP而言，这两者之间确实有差别，Softmax的处理方式有时候会比Sigmoid的处理方式好一点。

-对于CV而言，这两者之间也是有差别的，Sigmoid的处理方式有时候会比Softmax的处理方式好一点。

关键信息 极其关键 TODO&链接