1. 神经网络的全连接层
全连接层(fully connected layers,FC)在整个神经网络中起到“分类器”的作用。
如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层将学到的“分布式特征表示”映射到“样本标记空间”。
在实际使用中,全连接层可由卷积操作实现:对前层是全连接的全连接层可以转化为卷积核为1x1的卷积;而前层是卷积层的全连接层可以转化为卷积核为h*w的全局卷积,h和w分别为前层卷积结果的高和宽。
由于全连接层的参数冗余(仅全连接层参数就可占整个网络参数80%左右),有些性能优异的网络模型如ResNet和GoogLeNet等均用全局平均池化(global average pooling,GAP)取代全连接层,来融合学到的深度特征,最后仍用softmax等损失函数作为网络目标函数来指导学习过程。
2. 什么是全连接神经网络,怎么理解“全连接”?
1、全连接神经网络解析:对n-1层和n层而言,n-1层的任意一个节点,都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候,激活函数的输入是n-1层所有节点的加权。
2、全连接的神经网络示意图:
3、“全连接”是一种不错的模式,但是网络很大的时候,训练速度回很慢。部分连接就是认为的切断某两个节点直接的连接,这样训练时计算量大大减小。
神经网络
1、一般的SGD的模型只有一层WX+b,现在需要使用一个RELU作为中间的隐藏层,连接两个WX+b,仍然只需要修改Graph计算单元为:
而为了在数学上满足矩阵运算,我们需要这样的矩阵运算:
这里N取1024,即1024个隐藏结点。
2、于是四个参数被修改:
其中,预测值计算方法改为:
3、计算3000次,可以发现准确率一开始提高得很快,后面提高速度变缓,最终测试准确率提高到88.8%。