宋程

[摘 要]本文采用卷积网络进行手写数字识别，网络一共五层，前两层层是卷积层，之后两层是全连接层，最后一层采用sofemax分类器。采用数据为mnist数据库。可达到非常高的识别率。

[关键词]卷积网络，mnist，深度学习；

中图分类号：TP391 文献标识码：A 文章编号：1009-914X（2017）02-0168-01

1 概述

几年来，深度卷积网络技术飞速发展，在图像，语音，自然语言处理等多个人工智能领域纷纷取得领先。深度卷积网络作为深度神经网络的一种，其具有独特的类似于人眼局部感受野的卷积核，以及类似于生物神经的层次级联结构。由于权值共享的特性，网络的参数大大减少，同时降低了对训练数据过拟合的风险，具有比其他种类的深度网络更加易于训练的好处。

2 深度卷积网络

2.1 深度卷积层的结构

一个典型的深度卷积网络结构如图2-1所示。

深度卷积网络的第一层是输入层，接下来是若干个卷基层和下采样层，最后是一个分类器，如softmax分类器，由分类器输出相应的分类结果。通常，每一个卷基层后面都紧跟一个下采样层。在卷基层，利用局部连接和权值共享可以减少网络的训练参数，降低计算的复杂性。通过卷积运算，得到的卷积结果通过sigmoid等激活函数的输出得到这一层的特征图，然后作为下一层（下采样层）的输入。在下采样层。将前一层对应的特征图中相邻若干个特征通过池化操作合并成一个特征。输入的图像数据可以直接传送到第一个卷积层，进行逐层特征学习，最后利用有标签样本数据输入到softmax分类器，通过后向反馈微调整个网络的参数。

2.2 深度卷积网络的学习算法

2.2.1 卷积层的学习

卷积层是利用局部连接和权值共享，减少网络的自由参数个数，降低网络参数选取复杂度。在每一个卷积层中，用一个可学习的卷积核与上一层若干个特征图进行卷积，再通过一个激活函数f，如sigmoid利用式2-1就可以得到相应的输入特征。

这里l表示层数，k是卷积核，*表示二维卷积，表示偏置，是输入特征图集合。

2.2.2 下采样层的学习

下采样层利用图像局部相关性原理，对图像进行子抽样，在减少数据处理量的同时保留有用信息。这里通常是对前一层对应的特征图中的向量特征进行池化操作。池化分为平均池化和最大池化等，池化后特征图数量不变，但特征图变小，输出的特征可用式2-2计算。

其中对应权值，b表示相应偏置，dowm表示下采样函数。

深度卷积网络，输入端直接输入图像像素，采用由前向后的逐层学习方式，计算损失函数，再通过bp算法对整个训练参数进行调整。

3 深度学习中常用方法

3.1 线性校正单元

线性校正单元（ReLU）是当前最普遍使用的非线性激活函数，其函数形式为f（x）=max（x，0）。在过去神经网络通常使用Tanh或Sigmoid函数作为激活函数。研究表明，生理神经元编码可能是以稀疏分布的形式表示，因为神经元的活动电位和突出后效应消耗了绝大部分能量，同时能激活的神经元数量预测在1%至4%之间，所以大部分神经元处在静息状态。尽管ReLU非线性，并且在零点处不可微分，但是它可以生成真正的零来进行稀疏表示，所以对生理神经元激活的拟合更好。实验表明，ReLU作为激活函数，在网络中学习的更快。

3.2 Dropoup

在网络的训练过程中，过拟合是个常见的问题，尤其是在训练大规模网络的时候，Dropout 是处理这个问题的一种方法。Dropout 是指在训练的时候，以随机概率抛弃神经元的连接，进而增加网络的健壮性。若在训练中使用了 Dropout，则会导致网络连接数变少，所以测试的时候需要通过对该层的所有权值等比例缩小，以平均近似训练时的网络。神经元与Dropout 随机挑选的单元进行训练，会使得每个单元不依赖于特定单元从而变得更加健壮，进而产生有用的特征信息。

4 仿真实验

本文采用matlab仿真环境，网络采用五层结构，前两层为卷积层，卷积核分别为3和5。中间两层为全连接，最后一层是softmax分类器。实验结果如图4-1所示。结果可以看到，错误率大约为0.48%左右，此网络拥有很高的识别率。

参考文献

[1] 段宝彬，韩立新. 改进的深度卷积网络及在碎纸片拼接中的应用[J].计算机工程与应用，2014，50（9）：176-181.

[2] 郑昌艳，梅卫，王刚. 基于深度卷积神经网络的蛇形机动航迹图像识别[J].火力与指挥控制，2016.05.

[3] 张宏毅. 基于深度卷積网络的同款商品图像检索研究[J].图形图像，2016.04.

[4] 刘畅. MRI脑影像的深度卷积网络分割和三维可视化[D].

[5] Glorot X， Bordes A， Bengio Y.Deep sparse rectifier neural networks；International Conferenc e on Artificial Intelligence and Statistics[C]， 2011.

[6] Lennie P.The cost of cortical computation [J].Current biology，2003，13（6）：493-497.

[7] Attwell D， Laughlin SB.An energy budget for signaling in the grey matter of the brain [J]. Journal of Cerebral Blood Flow & Metabolism，2001，21（10）：1133-1145.

[8] Geoffrey E. Hinton，Nitish Srivastava，Alex Krizhevsky，Ilya Sutskever，Ruslan R. Salakhutdinov， Improving neural networks by preventing co-adaptation of feature detectors[D].arXiv preprint arXiv：1207.0580，2012