卷积神经网络..pptx

卷积神经网络..pptx

《卷积神经网络..pptx》由会员分享，可在线阅读，更多相关《卷积神经网络..pptx（27页珍藏版）》请在冰豆网上搜索。

,ConvolutionalNeuralNetworks,1,计算机视觉研究所,卷积神经网络,汇报人：

袁越导师：

储珺老师,Contents,2,计算机视觉研究所,机器学习，神经网络，深度学习之间的关系什么是神经网络梯度下降算法反向传播算法神经网络的训练什么是卷积什么是池化LeNet-5其它的工作,ConvolutionalNeuralNetworks,机器学习，神经网络，深度学习之间的关系,3,计算机视觉研究所,ConvolutionalNeuralNetworks,什么是神经网络？

人工神经网络（Artificialneuralnetwork,ANN），简称神经网络（NN）神经网络其实就是按照一定规则连接起来的多个神经元,神经元：

每个连接都有一个权值,图1.一个全连接的神经网络,4,计算机视觉研究所,ConvolutionalNeuralNetworks,梯度下降算法梯度下降算法是用来求函数最小值的算法每次沿着梯度的反方向，即函数值下降最快的方向，去修改值，就能走到函数的最小值附近（之所以是最小值附近而不是最小值那个点，是因为我们每次移动的步长不会那么恰到好处，有可能最后一次迭代走远了越过了最小值那个点）,5,计算机视觉研究所,ConvolutionalNeuralNetworks,反向传播算法（BackPropagation）反向传播算法是计算多层复合函数的所有变量的偏导数的利器，上面梯度下降的例子中就是求梯度，简单的理解就是链式法则根据链式法则，我们求e对a的偏导和e对d的偏导是如下所示:

可以看出，它们都求了e对c的偏导。

对于权值动则数万的深度模型中的神经网络，这样的冗余所导致的计算量是相当大的BP算法则机智地避开了这种冗余，BP算法是反向（自上往下）来求偏导的。

6,计算机视觉研究所,ConvolutionalNeuralNetworks,梯度下降算法+反向传播算法,7,计算机视觉研究所,ConvolutionalNeuralNetworks,8,计算机视觉研究所,ConvolutionalNeuralNetworks,9,计算机视觉研究所,ConvolutionalNeuralNetworks,计算机视觉研究所,10,ConvolutionalNeuralNetworks,什么是卷积？

右图展示了卷积的过程，和信号处理的卷积有所区别卷积降低了网络模型的复杂度（对于很难学习的深层结构来说，这是非常重要的），减少了权值的数量黄色部分是卷积核,计算机视觉研究所,11,ConvolutionalNeuralNetworks,什么是池化？

池化层主要的作用是下采样，通过去掉FeatureMap中不重要的样本，进一步减少参数数量。

池化的方法很多，最常用的是MaxPooling。

MaxPooling实际上就是在n*n的样本中取最大值，作为采样后的样本值。

右图是2*2max,计算机视觉研究所,12,ConvolutionalNeuralNetworks,LeNet-5,计算机视觉研究所,13,LeNet-5,计算机视觉研究所,14,输入图像是32x32的大小，卷积核的大小是5x5的，由于不考虑对图像的边界进行拓展，则卷积核将有28x28个不同的位置，也就是C1层的大小是28x28。

这里设定有6个不同的C1层，每一个C1层内的权值是相同的。

S2层是一个下采样层，即池化层。

在斯坦福关于深度学习的教程中，这个过程叫做Pool。

但在LeNet-5系统，下采样层比较复杂，由4个点下采样的加权平均为1个点，因为这4个加权系数也需要学习得到，这显然增加了模型的复杂度。

LeNet-5,3.根据对前面C1层同样的理解，我们很容易得到C3层的大小为10x10.只不过，C3层的变成了16个10x10网络，有16个卷积核。

如果S2层只有1个平面，那么由S2层得到C3就和由输入层得到C1层是完全一样的。

但是，S2层由多层，那么，只需要按照一定的顺利组合这些层就可以了。

具体的组合规则，在LeNet-5系统中给出了下面的表格：

C3层featuremap,简单的说，例如对于C3层第0张特征图，其每一个节点与S2层的第0张特征图，第1张特征图，第2张特征图，总共3个5x5个节点相连接。

后面依次类推，C3层每一张特征映射图的权值是相同的,S2层featuremap,计算机视觉研究所,15,LeNet-5,计算机视觉研究所,16,S4层是在C3层基础上下采样，前面已述。

C5层是一个卷积层，有120个特征图。

每个单元与S4层的全部16个单元的5*5邻域相连，故C5特征图的大小为1*1：

这构成了S4和C5之间的全连接。

之所以仍将C5标示为卷积层而非全连接层，是因为如果LeNet-5的输入变大，而其他的保持不变，那么此时特征图的维数就会比1*1大。

C5层有48120个可训练连接。

F6层有84个单元（之所以选这个数字的原因来自于输出层的设计），与C5层全相连。

有10164个可训练参数。

如同经典神经网络，F6层计算输入向量和权重向量之间的点积，再加上一个偏置。

然后将其传递给sigmoid函数产生节点的输出。

LetNet-5,比特面编码：

将一个灰度图像为8bit/像素中每个像素的第j个比特抽取出来，就得到一个称为比特平面的二值图像，于是图像完全可以用一组共8个比特平面来表示，对灰度图像的编码转为对比特平面的二值化方块编码。

为此，将每个比特面分为不重叠的mn个元素的子块。

计算机视觉研究所,17,卷积层的训练,layerl-1,layerl,L-1层的误差,计算机视觉研究所,18,L-1层的输出,L层的误差,L层的输入,？

卷积层的误差传播,计算机视觉研究所,19,卷积层的误差传播,计算机视觉研究所,20,卷积层的误差传播,卷积操作,计算机视觉研究所,21,卷积层filter权重梯度的计算,计算机视觉研究所,22,卷积层filter权重梯度的计算,与误差传播类似，相当于l层的误差项（sensitivitymap）与l-1层的输出项做卷积操作，得到卷积核（filter）的梯度,计算机视觉研究所,23,池化层的误差传递,大部分池化层没有需要训练的参数，只需要将误差传递。

以MaxPooling为例Layerl-1Layerl,计算机视觉研究所,24,池化层的误差传递,计算机视觉研究所,25,一些其他的工作,计算机视觉研究所,26,RichfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentationTechreport（RCNN，Publishedin:

ComputerVisionandPatternRecognition（CVPR）,2014IEEEConferenceon）LearningMulti-DomainConvolutionalNeuralNetworksforVisualTracking（MDNet，Publishedin:

ComputerVisionandPatternRecognition（CVPR）,2016IEEEConferenceon）DeepTrack:

LearningDiscriminativeFeatureRepresentationsbyConvolutionalNeuralNetworksforVisualTracking（Publishedin:

IEEETransactionsonImageProcessing（Volume:

25,Issue:

4,April2016））DeepLearningofAppearanceModelsforOnlineObjectTracking（Author：

MZhai，MJRoshtkhari，GMori）,Thankyou,计算机视觉研究所,27,