深度卷积神经网络PPT文件格式下载.pptx

深度卷积神经网络PPT文件格式下载.pptx

《深度卷积神经网络PPT文件格式下载.pptx》由会员分享，可在线阅读，更多相关《深度卷积神经网络PPT文件格式下载.pptx（106页珍藏版）》请在冰豆网上搜索。

,人工神经网络发展历程,在语音识别取得重大突破,百度:

deepspeech,2011年以来，错误率降低2030%!

2012年11月，微软在天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译，以及中文语音合成，效果非常流畅。

人工神经网络发展历程,GoogleBrain项目（纽约时报2012年6月报道）,2011年开始，GoogleBrain项目采用16000个CPUCore的并行计算平台训练“深层神经网络”，在图像识别等领域获取巨大成功！

吴恩达,人工神经网络发展历程,100:

0战胜Lee版本，89:

11战胜Master版本！

AlphaGoZero,2017年10月,AlphaZero:

最大特点是无需人类棋谱，仅利用围棋规则,Alpha-Fan,AlphaGo-Lee,AlphaMaster,AlphaZero,人工神经网络发展历程,为什么有效浅层神经网络可以近似任意函数，为何多层？

深层网络结构中，高层可以综合应用低层信息。

低层关注“局部”，高层关注“全局”、更具有语义化信息。

为自适应地学习非线性处理过程提供了一种可能的简洁、普适的结构模型。

特征提取与分类器可以一起学习。

人工神经网络发展历程,发展基础：

数据爆炸：

图像数据、文本数据、语音数据、社交网络数据、科学计算等,计算性能大幅提高,神经网络简要介绍,人类视觉机理：

DavidHubel和TorstenWiesel发现了视觉系统的信息处理方式，即视皮层的分级特性，获得1981年诺贝尔生理学或医学奖。

Low-levelsensing,Preprocessing,Featureextraction,Featureselection,Inference:

prediction,recognition,本图取自：

http:

/,Training:

duringthetrainingphase,aneuralnetworkisfedthousandsoflabeledimagesofvariousanimals,learningtoclassifythem,Input:

Anunlabeledimageisshowntothepre-trainednetwork,FirstLayer:

theneuronsrespondtodifferentsimpleshapes,likeedges,HighLayer:

theneuronsrespondtomorecomplexstructures,TopLayer:

theneuronsrespondtohighlycomplex,abstractconceptsthatwewouldidentifyasdifferentanimals,Output:

Thenetworkpredictswhattheobjectmostlikelyis,basedonitstraining,神经网络简要介绍,人工神经网络（ArtificialNeuralNetworks，ANN）,-通过映射解决分类问题，对网络的训练即对映射函数的学习问题。

卷积层（5层）：

用于特征提取,全连接（3层）:

人工神经网络：

用于分类,神经网络简要介绍,输入层（Input）：

数据输入,隐含层（Hiddenlayer）：

空间变换,输出（Output）,三层神经网络模型,曲线上的采样点是线性不可分,经空间变换后，曲线上的采样点是线性可分的,神经网络简要介绍,神经元,树突,输入,神经元接收信号,隐含层输入,神经元激活轴突发出信号,隐含层输出,ANN,ANN是对大脑神经元信号传输的模拟,神经网络简要介绍,感知机（Perceptron）,通过查找超平面解决二类分类问题（通过二值函数解决二类分类问题）,公式表达：

可看作对输入的空间变换,四种空间变换：

维度、缩放、旋转、平移,感知机中的线性映射限制了模型的表达能力，线性变化的组合仍为线性变化。

神经网络简要介绍,ANN基本构成：

感知机（Perceptron）+激活函数,第五种空间变换：

扭曲（非线性）,ANN每层输出为：

其中，为激活函数（原来是阈值函数）,常用激活函数：

SigmoidTanh（反正切函数）,感知机：

线性变换激活函数：

非线性，引入非线性激活函数，提高网络的非线性表达能力,神经网络简要介绍,输入层,隐含层1,隐含层N,分类输出,多层结构的人工神经网络,多层结构的ANN，从单层到多层的扩展：

进一步提升对非线性的表达，得到更加抽象的特征表述。

-根据问题设计网络深度，一般35层。

.,.,.,.,.,人工神经网络单个节点输出,神经网络简要介绍,ANN训练：

前向输出计算+反向梯度传播（BP算法）,设网络具有层，为层中第个节点输出，表示从到的连接权重。

前向传播,1、计算每层中每个节点的输出,为激活函数,2、在输出层计算损失,为目标参考输出，一般从样本训练中得到。

.,.,.,.,loss,前向传播过程,1,神经网络简要介绍,ANN训练：

前向输出计算+反向梯度传播（BP算法）,反向传播,3、由输出层开始逐层计算前层误差,4、修正连接权重,.,.,.,.,梯度反传过程,神经网络简要介绍,ANN训练：

前向输出计算+反向梯度传播（BP算法）,神经网络简要介绍,深度神经网络（DNN）-用神经网络模拟大脑的识别过程,神经网络-全连接or卷积？

图：

全连接与卷积示意图,深度卷积神经网络介绍,底层提取初级特征高层对低层特征组合与抽象,深度卷积神经网络介绍,卷积神经网络（CNN）：

卷积+池化+全连接,卷积：

局部特征提取训练中进行参数学习每个卷积核提取特定模式的特征,池化（下采样）：

降低数据维度，避免过拟合增强局部感受野提高平移不变性,全连接：

特征提取到分类的桥梁,什么是卷积？

24,右图展示了卷积的过程，和信号处理的卷积有所区别卷积降低了网络模型的复杂度（对于很难学习的深层结构来说，这是非常重要的），减少了权值的数量黄色部分是卷积核,深度卷积神经网络介绍,什么是池化？

25,池化层主要的作用是下采样，通过去掉FeatureMap中不重要的样本，进一步减少参数数量。

池化的方法很多，最常用的是MaxPooling。

MaxPooling实际上就是在n*n的样本中取最大值，作为采样后的样本值。

右图是2*2max,深度卷积神经网络介绍,底层特征具有局部特性，因此可以利用卷积窗口进行特征提取。

图像中不同区域的底层特征（如边界）具有相似性，可以共享一组滤波器。

用卷积代替全连接进行特征提取,对底层特征组合得到更具语义信息的高层特征。

深度卷积神经网络,深度卷积神经网络介绍,深度卷积神经网络介绍经典深度神经网络模型LeNetAlexNetVGGNetNetworkinNetwork（MIN）GoogLeNetResNet深度学习框架在计算机视觉中的应用,目录,网络模型,LeNet,AlexNet,NIN,VGGNet,GoogLeNet（Inception）,ResNet,InceptionResNet,图3：

ILSVRC图像分类竞赛近年结果。

网络结构的改进,网络深度的增加,图2：

深度卷积神经网络发展图,图4：

LeNet网络结构，来源于文献1。

最早的深度卷积神经网络模型，用于字符识别。

网络具有如下特点：

卷积神经网络使用三个层作为一个系列：

卷积，池化，非线性使用卷积提取空间特征使用映射到空间均值的下采样（subsample）双曲线（tanh）或S型（sigmoid）形式的非线性多层神经网络（MLP）作为最后的分类器,1Y.Lecun,L.Bottou,Y.BengioandP.Haffner.Gradient-BasedLearningAppliedtoDocumentRecognition.ProceedingsoftheIEEE,vol.86,no.11,1998.,LeNet提供了利用卷积层堆叠进行特征提取的框架，开启了深度卷积神经网络的发展。

LeNet,AlexNet,AlexNet在LeNet基础上进行了更宽更深的网络设计，首次在CNN中引入了ReLU、Dropout和LocalResponseNorm（LRN）等技巧。

网络的技术特点如下：

使用ReLU（RectifiedLinearUnits）作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题，提高了网络的训练速率。

为避免过拟合，训练时使用Dropout随机忽略一部分神经元。

使用重叠的最大池化（maxpooling）。

最大池化可以避免平均池化的模糊化效果，而采用重叠技巧可以提升特征的丰富性。

提出了LRN层（ReLU后进行归一化处理），对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。

利用GPU强大的并行计算能力加速网络训练过程，并采用GPU分块训练的方式解决显存对网络规模的限制。

ReLU,数据增强。

利用随机裁剪和翻转镜像操作增加训练数据量，降低过拟合。

Dropout,maxpooling：

池化时取最大值,2AlexKrizhevsky,IlyaSutskeverandGeoffreyE.Hinton.ImageNetClassificationwithDeepConvolutionalNeuralNetworks.NIPS,2012.,图：

AlexNet网络结构，来源于文献2。

网络包含5个卷积层和3个全连接层，最后为有1000个类别输出的Softmax层。

网络在两块GPU上并行训练。

AlexNet,Conv1111+ReLU/96,LRN,Maxpooling33,Conv55+ReLU/256,LRN,Maxpooling33,Conv33+ReLU/384,Conv33+ReLU/384,Conv33+ReLU/256,Maxpooling33,FC+ReLU/4096,FC+ReLU/4096,FC+ReLU/1000,网络结