深度卷积神经网络PPT文件格式下载.pptx

1、,人工神经网络发展历程,在语音识别取得重大突破,百度:deep speech,2011年以来，错误率降低2030%!,2012年11月，微软在天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译，以及中文语音合成，效果非常流畅。,人工神经网络发展历程,Google Brain项目（纽约时报2012年6月报道）,2011年开始，Google Brain 项目采用16000个CPU Core的并行计算平台训练“深层神经网络”，在图像识别等领域获取巨大成功！,吴恩达,人工神经网络发展历程,100:0战胜Lee版本，89:11战胜Ma

2、ster版本！,AlphaGo Zero,2017年10月,AlphaZero:最大特点是无需人类棋谱，仅利用围棋规则,Alpha-Fan,AlphaGo-Lee,AlphaMaster,AlphaZero,人工神经网络发展历程,为什么有效浅层神经网络可以近似任意函数，为何多层？深层网络结构中，高层可以综合应用低层信息。低层关注“局部”，高层关注“全局”、更具有语义化信息。为自适应地学习非线性处理过程提供了一种可能的简洁、普适的结构模型。特征提取与分类器可以一起学习。,人工神经网络发展历程,发展基础：,数据爆炸：图像数据、文本数据、语音数据、社交网络数据、科学计算等,计算性能大幅提高,神经网络

3、简要介绍,人类视觉机理：,David Hubel和TorstenWiesel发现了视觉系统的信息处理方式，即视皮层的分级特性，获得1981年诺贝尔生理学或医学奖。,Low-level sensing,Preprocessing,Featureextraction,Featureselection,Inference:prediction,recognition,本图取自：http:/,Training:during the training phase,a neural network is fed thousands of labeled images of various animals,

4、learning to classify them,Input:An unlabeled image is shown to the pre-trained network,First Layer:the neurons respond to different simple shapes,like edges,High Layer:the neurons respond to more complex structures,Top Layer:the neurons respond to highly complex,abstract concepts that we would ident

5、ify as different animals,Output:The network predicts what the object most likely is,based on its training,神经网络简要介绍,人工神经网络（Artificial Neural Networks，ANN）,-通过映射解决分类问题，对网络的训练即对映射函数的学习问题。,卷积层（5层）：用于特征提取,全连接（3层）:人工神经网络：用于分类,神经网络简要介绍,输入层（Input）：数据输入,隐含层（Hidden layer）：空间变换,输出（Output）,三层神经网络模型,曲线上的采样点是线性不可

6、分,经空间变换后，曲线上的采样点是线性可分的,神经网络简要介绍,神经元,树突,输入,神经元接收信号,隐含层输入,神经元激活轴突发出信号,隐含层输出,ANN,ANN是对大脑神经元信号传输的模拟,神经网络简要介绍,感知机（Perceptron）,通过查找超平面解决二类分类问题（通过二值函数解决二类分类问题）,公式表达：,可看作对输入的空间变换,四种空间变换：维度、缩放、旋转、平移,感知机中的线性映射限制了模型的表达能力，线性变化的组合仍为线性变化。,神经网络简要介绍,ANN基本构成：感知机（Perceptron）+激活函数,第五种空间变换：扭曲（非线性）,ANN每层输出为：,其中，为激活函数（原来

7、是阈值函数）,常用激活函数：Sigmoid Tanh（反正切函数）,感知机：线性变换激活函数：非线性，引入非线性激活函数，提高网络的非线性表达能力,神经网络简要介绍,输入层,隐含层1,隐含层N,分类输出,多层结构的人工神经网络,多层结构的ANN，从单层到多层的扩展：进一步提升对非线性的表达，得到更加抽象的特征表述。-根据问题设计网络深度，一般35层。,.,.,.,.,.,人工神经网络单个节点输出,神经网络简要介绍,ANN训练：前向输出计算+反向梯度传播（BP算法）,设网络具有 层，为 层中第 个节点输出，表示从 到 的连接权重。,前向传播,1、计算每层中每个节点的输出,为激活函数,2、在输出层

8、计算损失,为目标参考输出，一般从样本训练中得到。,.,.,.,.,loss,前向传播过程,1,神经网络简要介绍,ANN训练：前向输出计算+反向梯度传播（BP算法）,反向传播,3、由输出层开始逐层计算前层误差,4、修正连接权重,.,.,.,.,梯度反传过程,神经网络简要介绍,ANN训练：前向输出计算+反向梯度传播（BP算法）,神经网络简要介绍,深度神经网络（DNN）-用神经网络模拟大脑的识别过程,神经网络-全连接 or 卷积？,图：全连接与卷积示意图,深度卷积神经网络介绍,底层提取初级特征高层对低层特征组合与抽象,深度卷积神经网络介绍,卷积神经网络（CNN）：卷积+池化+全连接,卷积：局部特征提

9、取训练中进行参数学习每个卷积核提取特定模式的特征,池化（下采样）：降低数据维度，避免过拟合增强局部感受野提高平移不变性,全连接：特征提取到分类的桥梁,什么是卷积？,24,右图展示了卷积的过程，和信号处理的卷积有所区别卷积降低了网络模型的复杂度（对于很难学习的深层结构来说，这是非常重要的），减少了权值的数量黄色部分是卷积核,深度卷积神经网络介绍,什么是池化？,25,池化层主要的作用是下采样，通过去掉Feature Map中不重要的样本，进一步减少参数数量。池化的方法很多，最常用的是Max Pooling。Max Pooling实际上就是在n*n的样本中取最大值，作为采样后的样本值。右图是2*2

10、max,深度卷积神经网络介绍,底层特征具有局部特性，因此可以利用卷积窗口进行特征提取。图像中不同区域的底层特征（如边界）具有相似性，可以共享一组滤波器。,用卷积代替全连接进行特征提取,对底层特征组合得到更具语义信息的高层特征。,深度卷积神经网络,深度卷积神经网络介绍,深度卷积神经网络介绍 经典深度神经网络模型 LeNet AlexNetVGGNetNetwork in Network（MIN）GoogLeNetResNet 深度学习框架 在计算机视觉中的应用,目录,网络模型,LeNet,AlexNet,NIN,VGGNet,GoogLeNet（Inception）,ResNet,Incepti

11、on ResNet,图3：ILSVRC图像分类竞赛近年结果。,网络结构的改进,网络深度的增加,图2：深度卷积神经网络发展图,图4：LeNet网络结构，来源于文献 1。,最早的深度卷积神经网络模型，用于字符识别。网络具有如下特点：卷积神经网络使用三个层作为一个系列：卷积，池化，非线性使用卷积提取空间特征使用映射到空间均值的下采样（subsample）双曲线（tanh）或S型（sigmoid）形式的非线性多层神经网络（MLP）作为最后的分类器,1 Y.Lecun,L.Bottou,Y.Bengio and P.Haffner.Gradient-Based Learning Applied to D

12、ocument Recognition.Proceedings of the IEEE,vol.86,no.11,1998.,LeNet提供了利用卷积层堆叠进行特征提取的框架，开启了深度卷积神经网络的发展。,LeNet,AlexNet,AlexNet在LeNet基础上进行了更宽更深的网络设计，首次在CNN中引入了ReLU、Dropout和Local Response Norm（LRN）等技巧。网络的技术特点如下：使用ReLU（Rectified Linear Units）作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题，提高

13、了网络的训练速率。为避免过拟合，训练时使用Dropout随机忽略一部分神经元。使用重叠的最大池化（max pooling）。最大池化可以避免平均池化的模糊化效果，而采用重叠技巧可以提升特征的丰富性。提出了LRN层（ReLU后进行归一化处理），对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。利用GPU强大的并行计算能力加速网络训练过程，并采用GPU分块训练的方式解决显存对网络 规模的限制。,ReLU,数据增强。利用随机裁剪和翻转镜像操作增加训练数据量，降低过拟合。,Dropout,max pooling：池化时取最大值,2 A

14、lex Krizhevsky,Ilya Sutskever and Geoffrey E.Hinton.ImageNet Classification with Deep ConvolutionalNeural Networks.NIPS,2012.,图：AlexNet网络结构，来源于文献2。网络包含5个卷积层和3个全连接层，最后为有1000个类别输出的Softmax层。网络在两块GPU上并行训练。,AlexNet,Conv 1111+ReLU/96,LRN,Max pooling 33,Conv 55+ReLU/256,LRN,Max pooling 33,Conv 33+ReLU/384,Conv 33+ReLU/384,Conv 33+ReLU/256,Max pooling 33,FC+ReLU/4096,FC+ReLU/4096,FC+ReLU/1000,网络结