1 BP神经网络预测算法简介

1.1 神经网络的结构

神经网络的网络结构由输入层，隐含层，输出层组成。隐含层的个数+输出层的个数=神经网络的层数，也就是说神经网络的层数不包括输入层。下面是一个三层的神经网络，包含了两层隐含层，一个输出层。其中第一层隐含层的节点数为3，第二层的节点数为2，输出层的节点数为1；输入层为样本的两个特征X1,X2.

图1 三层神经网络

在神经网络中每一个节点的都与上一层的所有节点相连，称为全连接。神经网络的上一层输出的数据是下一层的输入数据。在图中的神经网络中，原始的输入数据，通过第一层隐含层的计算得出的输出数据，会传到第二层隐含层。而第二层的输出，又会作为输出层的输入数据。

神经网络中的每一层（除了输入层）都是由神经元组成，也称为节点。每一个神经元都相当于一个感知器。如下图：

图2 单个神经元

 在神经网络中，每个节点都将计算出特征矩阵X与权值矩阵的加权和，得到净输入e，然后通过激励函数f(e)得到该节点的输出y。在图1中，每条连线都可以看做是一个权值。

在神经网络中，可以添加输出层节点的个数来解决多分类问题。有四个类别需要分类则，则输出层的节点个数可以设为4个节点，每一个节点代表一个类别。

1.2 BP神经网络的训练过程

神经网络的训练过程分为两个过程：1、向前传播得到预测数据；2、反向传播更新权重。如下图所示：

图3 神经网络的训练过程

第一步、向前传播得到预测数据：向前传播的过程,即数据从输入层输入，经过隐含层，输出层的计算得到预测值，预测值为输出层的输出结果。网络层的输出即，该层中所有节点（神经元）的输出值的集合。我们以图一的神经网络结构为例，分析向前传播过程。

1.得到隐含层的输出y1,y2,y3：

2.获取到第二层的隐含层输出y4,y5，输入的数据也就是第一层隐含层的输出数据y1,y2,y3。

3、通过输出层，得到最后的预测值y。

第二步、反向传播更新权重：根据样本的真实类标，计算模型预测的结果与真实类标的误差。然后将该误差反向传播到各个隐含层。计算出各层的误差，再根据各层的误差，更新权重。

1.计算输出层的误差：其中z为该样本的类标

2计算第二层隐含层的误差

3.计算第一次隐含层的误差：

4、更新权重：新的权值=原权值+学习速率×该节点的误差×激励函数的导函数的值（f(e)的倒数）×与该节点相连的输入值

 4.1更新输入层与第一层隐含层之间的权值：

4.2更新第一层隐含层与第二层隐含层之间的权值

4.3更新第二层隐含层与输出层之间的权值

以上就是反向传播的过程。误差从输出层反向的传到输入层，然后再从输入层向前更新权值。

1.3 BP神经网络的设计与实现

  （一） BP神经网络的设计

1.设计网络的结构：

本次实验采用java语言实现。设计了包含一个隐含层的神经网络，即一个2层的神经网络。

每层都含有一个一维X特征矩阵即为输入数据，一个二维W权值矩阵，一个一维的误差矩阵error，同时该神经网络中还包含了一个一维的目标矩阵target，记录样本的真实类标。

X特征矩阵：第一层隐含层的X矩阵的长度为输入层输入数据的特征个数+1，隐含层的X矩阵的长度则是上一层的节点的个数+1，X[0]=1。

W权值矩阵：第一维的长度设计为节点（即神经元）的个数，第二维的长度设计为上一层节点的个数+1；W[0][0]为该节点的偏置量

error误差矩阵：数组长度设计为该层的节点个数。

目标矩阵target：输出层的节点个数与其一致。

激活函数：采用sigmoid函数：1/1+e-x

2.神经网络的计算过程

按照以上的设计，向前传播得到下一层的输出结果，如图所示：

求误差过程，如图所示：

反向传播过程，调整权值，如图所示：

（二） BP神经网络的实现

一、向前传播得到预测数据：

1.初始化权值
2.训练数据集：
  2.1、导入训练数据集和目标值；
  2.2、向前传播得到输出值；
    2.2.1、获取隐含层的输出
    2.2.2、获取输出层的输出
二、反向传播更新权重
 1、获取输出层的误差；
 2、获取隐含层的误差；
 3、更新隐含层的权值；
 4、更新输出层的权值；

2 原子搜索算法

原子搜索优化算法（Atom Search Optimization）是于2019提出的一种基于分子动力学模型的新颖智能算法．模拟在原子构成的分子系统中，原子因相互间的作用力和系统约束力而产生位移的现象．在一个分子系统中，相邻的原子间存在相互作用力（吸引力和排斥力），且全局最优原子对其他原子存在几何约束作用 ．引力促使原子广泛地探索整个搜索空间，斥力使它们能够有效地开发潜在区域 。具有寻优能力强，收敛快的特点。
1.原子优化算法原理

3 ASO优化BP神经网络的步骤

Step1：初始化BP神经网络的权值和阈值
Step2：计Logistic混沌映射改进的原子搜索优化算法的决策变量长度，选取均方误差作为优化的目标函数。
Step3：设置算法停止准则，使用遗传优化算法优化神经网络的权值和阈值参数。
Step4：将优化得到的权值和阈值参数赋给BP神经网络。
Step5：优化后的BP神经网络训练与测试，与优化前的BP神经网络进行误差分析和精度对比。

4 演示代码

%--------------------------------------------------------------------------
% Atom Search Optimization.
function [X_Best,Fit_XBest,Functon_Best]=ASO(alpha,beta,Fun_Index,Atom_Num,Max_Iteration)

% Dim: Dimension of search space.
% Atom_Pop: Population (position) of atoms.
% Atom_V:  Velocity of atoms.
% Acc: Acceleration of atoms.
% M: Mass of atoms. 
% Atom_Num: Number of atom population.
% Fitness: Fitness of atoms.
% Max_Iteration: Maximum of iterations.
% X_Best: Best solution (position) found so far. 
% Fit_XBest: Best result corresponding to X_Best. 
% Functon_Best: The fitness over iterations. 
% Low: The low bound of search space.
% Up: The up bound of search space.
% alpha: Depth weight.
% beta: Multiplier weight

alpha=50;
beta=0.2;


   Iteration=1;
   [Low,Up,Dim]=Test_Functions_Range(Fun_Index); 
 
   % Randomly initialize positions and velocities of atoms.
     if size(Up,2)==1
         Atom_Pop=rand(Atom_Num,Dim).*(Up-Low)+Low;
         Atom_V=rand(Atom_Num,Dim).*(Up-Low)+Low;
     end
   
     if size(Up,2)>1
        for i=1:Dim
           Atom_Pop(:,i)=rand(Atom_Num,1).*(Up(i)-Low(i))+Low(i);
           Atom_V(:,i)=rand(Atom_Num,1).*(Up(i)-Low(i))+Low(i);
        end
     end

 % Compute function fitness of atoms.
     for i=1:Atom_Num
       Fitness(i)=Test_Functions(Atom_Pop(i,:),Fun_Index,Dim);
     end
       Functon_Best=zeros(Max_Iteration,1);
       [Max_Fitness,Index]=min(Fitness);
       Functon_Best(1)=Fitness(Index);
       X_Best=Atom_Pop(Index,:);
     
 % Calculate acceleration.
 Atom_Acc=Acceleration(Atom_Pop,Fitness,Iteration,Max_Iteration,Dim,Atom_Num,X_Best,alpha,beta);


 % Iteration
 for Iteration=2:Max_Iteration 
           Functon_Best(Iteration)=Functon_Best(Iteration-1);
           Atom_V=rand(Atom_Num,Dim).*Atom_V+Atom_Acc;
           Atom_Pop=Atom_Pop+Atom_V;     
    
    
         for i=1:Atom_Num
       % Relocate atom out of range.  
           TU= Atom_Pop(i,:)>Up;
           TL= Atom_Pop(i,:)<Low;
           Atom_Pop(i,:)=(Atom_Pop(i,:).*(~(TU+TL)))+((rand(1,Dim).*(Up-Low)+Low).*(TU+TL));
           %evaluate atom. 
           Fitness(i)=Test_Functions(Atom_Pop(i,:),Fun_Index,Dim);
         end
        [Max_Fitness,Index]=min(Fitness);      
     
        if Max_Fitness<Functon_Best(Iteration)
             Functon_Best(Iteration)=Max_Fitness;
             X_Best=Atom_Pop(Index,:);
          else
            r=fix(rand*Atom_Num)+1;
             Atom_Pop(r,:)=X_Best;
        end
     
      % Calculate acceleration.
       Atom_Acc=Acceleration(Atom_Pop,Fitness,Iteration,Max_Iteration,Dim,Atom_Num,X_Best,alpha,beta);
 end

Fit_XBest=Functon_Best(Iteration); 

5 仿真结果

6 参考文献

《基于BP神经网络的宁夏水资源需求量预测》