1. 知识点

• 计算机视觉：图片分类、目标检测、图片风格迁移等

        对于小尺寸图片，可以用深度神经网络模型学习预测。但对于大尺寸图片，输入数据规模大，用深度神经网络会有非常多的参数需要学习，不再合适。

        卷积神经网络，在计算机视觉上是个很好的网络结构。

• 边缘检测：垂直边缘检测、水平边缘检测和更复杂的边缘检测filter

        垂直边缘检测：用filter依次对输入图片和filter相同大小的块内各元素进行运算，对应元素相乘后求和。所得结果为输出图片元素。由例图可以看出，垂直边缘检测filter能运算出输入图像人在垂直方向上的轮廓。   

         多种边缘检测：垂直边缘检测、水平边缘检测、更复杂的边缘检测（将fliter看作需要学习的参数）

         数学上的卷积和深度学习的卷积：数学上，卷积操作需要先将卷积核filter在水平和垂直方向上进行翻转，构成一个卷积核的镜像，然后使用该镜像再和前面的矩阵进行移动相乘求和操作。深度学习上，没有卷积核变换为镜像的这一步。

• Padding：

        没有Padding存在的问题：每次卷积操作图片会缩小。角落和边缘位置的像素进行运算的次数少，信息会丢失。

        加Padding：输入图片n*n大小，Padding大小为p，filter大小为f，输出图片为(n+2p-f+1)*(n+2p-f+1)

        不加Padding：输入图片大小为n*n，输出图片大小（n-f+1)*(n-f+1)

        输出图片和输入图片大小相同：n+2p-f+1=n，即p=(f-1)/2

• 卷积步长(s)：即两个运算之间移动的步数 

         输入图片大小为n*n，输出图片大小[(n+2p-f)/s+1]*[(n+2p-f)/s+1]

• 立体卷积

        卷积核的通道数：R、G、B三个颜色通道        

        多卷积核：不同的filter分别提取图片的不同特征，比如垂直边缘和水平边缘

         多卷积核输入图片和输出图片大小：

        （n*n*nc)*(f*f*nc)——>(n-f+1)*(n-f+1)*nc'，其中nc'是下一层通道数，也是本层filter的个数。

• 简单卷积网络：卷积核相当于深度网络中的参数W

         其中，参数W的个数为3*3*3=27，加上偏置，参数个数为28个，假设有10个卷积核，参数个数共280个。相对于普通神经网络，卷积神经网络的参数个数少了很多。

• 简单卷积网络示例：三层卷积，和一层全连接层

• 池化层：最大池化和平均池化，输入图片维度和输出图片维度之间的关系和卷积相运算相同

• 卷积神经网络示例：卷积-池化-卷积-池化-线性运算-激活。卷积层参数较少，线性运算层参数很多。

2. 应用实例

import numpy as np
import h5py
import matplotlib.pyplot as plt

%matplotlib inline
plt.rcParams['figure.figsize'] = (5.0, 4.0) 
plt.rcParams['image.interpolation'] = 'nearest'
plt.rcParams['image.cmap'] = 'gray'

#ipython很好用，但是如果在ipython里已经import过的模块修改后需要重新reload就需要这样
#在执行用户代码前，重新装入软件的扩展和模块。
%load_ext autoreload
#autoreload 2：装入所有 %aimport 不包含的模块。
%autoreload 2          

np.random.seed(1)      #指定随机种子