CNN（卷积神经网络）算法

1. CNN（卷积神经网络）算法

基础知识讲解：
   卷积：通过两个函数f 和g 生成第三个函数的一种数学算子，表征函数f 与g经过翻转和平移的重叠部分函数值乘积对重叠长度的积分。
   前馈神经网络：各神经元分层排列，每个神经元只与前一层的神经元相连，接收前一层的输出，并输出给下一层．各层间没有反馈。
   卷积神经网络：是一类包含卷积计算且具有深度结构的前馈神经网络
   卷积核：就是图像处理时，给定输入图像，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核。
   下采样：对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样。
   结构介绍
   输入层：用于数据输入
   卷积层：利用卷积核进行特征提取和特征映射
   激励层：非线性映射，卷积是线性映射，弥补不足
   池化层：进行下采样，对特征图稀疏处理，减少数据运算量
   全连接层：在CNN的尾部进行重新拟合，减少特征信息的损失
  
 输入层：
   在CNN的输入层中，（图片）数据输入的格式 与 全连接神经网络的输入格式（一维向量）不太一样。CNN的输入层的输入格式保留了图片本身的结构。
   对于黑白的 28×28 的图片，CNN的输入是一个 28×28 的的二维神经元：
   而对于RGB格式的28×28图片，CNN的输入则是一个 3×28×28 的三维神经元（RGB中的每一个颜色通道都有一个 28×28 的矩阵）
  
 卷积层：
                                          
 左边是输入，中间部分是两个不同的滤波器Filter w0、Filter w1，最右边则是两个不同的输出。
   ai.j=f(∑m=02∑n=02wm,nxi+m,j+n+wb)
   wm,n:filter的第m行第n列的值
   xi,j: 表示图像的第i行第j列元素
   wb:用表示filter的偏置项
   ai,j:表示Feature Map的第i行第j列元素
   f:表示Relu激活函数
  
 激励层：
   使用的激励函数一般为ReLu函数：
   f(x)=max(x,0)
   卷积层和激励层通常合并在一起称为“卷积层”。
  
 池化层：
   当输入经过卷积层时，若感受视野比较小，布长stride比较小，得到的feature map （特征图）还是比较大，可以通过池化层来对每一个 feature map 进行降维操作，输出的深度还是不变的，依然为 feature map 的个数。
   池化层也有一个“池化视野（filter）”来对feature map矩阵进行扫描，对“池化视野”中的矩阵值进行计算，一般有两种计算方式：
   Max pooling：取“池化视野”矩阵中的最大值
   Average pooling：取“池化视野”矩阵中的平均值
                                          
 训练过程：
   1.前向计算每个神经元的输出值aj（ 表示网络的第j个神经元，以下同）；
   2.反向计算每个神经元的误差项σj，σj在有的文献中也叫做敏感度(sensitivity)。它实际上是网络的损失函数Ed对神经元加权输入的偏导数
   3.计算每个神经元连接权重wi,j的梯度（ wi,j表示从神经元i连接到神经元j的权重）
   1.最后，根据梯度下降法则更新每个权重即可。
   参考： https://blog.csdn.net/love__live1/article/details/79481052