名称

原理

网络核心

训练过程

其他

RBF（Radial Basis Fuction--径向基函数）网络

一种单隐层前馈神经网络，使用径向基函数作为隐层神经元激活函数，输出层是对隐藏层的线性组合。

c，w分别为隐层神经元对应的中心和权重

1）确定神经元中心c，常用随机采用、聚类等；

2）利用BP算法确定参数w,b;

RBF神经网络具有“局部映射”特性。BP神经网络是对非线性映射的全局逼近 。

ART（Adaptive Resonance Theory）自适应谐振网络

包含比较层、识别层、识别阈值和重置模块，以竞争学习的方式进行学习；是一种无监督学习过程；

1. 比较层接受输入样本，并将其传递给识别层神经元；
2. 识别层每个神经元对应一个模式类，神经元数目可在训练过程中动态增长以增加新的模式类；识别层收到输入数据，利用识别层的竞争学习产生获胜神经元；（竞争机制例如：输入神经元识别的类别与标签类别之间的距离，距离小的获胜）
3. 获胜神经元发送信号抑制其他神经元的激活，通过输入数据与获胜神经元所对应的得向量间的相似度大于识别阈值，更新网络权重，使输入数据与神经元的模式相似度更大

SOM(Self-Organizing Map)自组织映射网络

一种竞争学习型的无监督神经网络，将高维输入数据映射到低维空间，保持输入数据在高位空间的拓扑（高维空间的相似样本点映射到低维空间中邻近的神经元），将距离小的个体集合划分为同一类别，而将距离大的个体集合划分为不同的类别。

1）接受输入：首先计算本次迭代的学习率和学习半径，并且从训练集中随机选取一个样本。

2）寻找获胜节点：计算数据集中其他样本与此样本的距离，从中找到点积最小的获胜节点。

3）计算优胜领域：根据这两个节点计算出聚类的领域，并找出此领域中的所有节点。

4）调整权值：根据学习率、样本数据调整权重。

5）根据计算结果，为数据集分配类别和标签。

6）评估结果：SOM网络属于无监督聚类，输出的结果就是聚类后的标签。如果训练集已经被分好类，即具有分类标签，那么通过新旧标签的比较就可以反映聚类结果的准确度。

级联相关网络

级联相关神经网络是从一个小网络开始，自动训练和添加隐含单元，最终形成一个多层的结构。

1）候选神经元连结到所有的输入和隐含神经元(图中的虚线)，并且候选神经元的输出不连结到网络上；

2）固定住图中的实线部分，只训练候选神经元的权重(也就是图中的虚线)；

3）当权重训练好之后，就将候选神经元安装到图中空白的层上，也就是第四个区域，这时候选项的连接权就不能再改变了；

4）将候选神经元连结到网络的输出上，这时候选神经元被激活，开始训练网络的所有输出连接权；

Elman网络

Elman是一种动态递归神经网络，包括输入层、隐藏层、承接层和输出层。

1. 输入层输入信号，并将其传入隐藏层；
2. 隐藏层采用激活函数，对t时刻的输入信号进行计算，并将其分别传递到输出层和承接层；
3. 承接层接收信号并将其与下一时刻的输入信号结合，重新输入到隐藏层；（因此，Elman网络使t时刻的输出状态不仅与t时刻的输入有关，还与t-1时刻的网络状态有关，可以处理与时间有关的动态变化）

Boltzmann（玻尔兹曼机）机

是一种基于能量的模型；包括两层：显层和隐层，显层为数据的输入输出，隐层为数据的内在表达；

通过调整网络权值使训练集中的模式在网络状态中以相同的概率再现。

1）正向学习阶段或输入期：即向网络输入一对输入输出模式，将网络输入输出节点的状态钳制到期望的状态，而让隐节点自由活动以捕捉模式对之间的对应规律；

2）反向学习阶段或自由活动期：对于异联想学习，钳制住输入节点而然隐含节点和输出节点自由活动；对于自联想学习，可以让其可见节点和隐节点都自由活动，已体现网络对输入输出对应规律的模拟情况。输入输出的对应规律表现为网络到达热平衡时，相连节点状态同时为一的平均概率。期望对应规律与模拟对应规律之间的差别就表现为两个学习阶段对应的平均概率的差值，此差值做为权值调整的依据。