深度卷积神经网络final.pptx

深度卷积神经网络final.pptx

《深度卷积神经网络final.pptx》由会员分享，可在线阅读，更多相关《深度卷积神经网络final.pptx（98页珍藏版）》请在冰豆网上搜索。

目录目录神经网络简要介绍经典深度神经网络模型LeNetAlexNetVGGNetNetworkinNetwork（MIN）GoogLeNetResNet深度学习框架及实例深度学习在计算机视觉中的应用神经网络简要介绍经典深度神经网络模型LeNetAlexNetVGGNetNetworkinNetwork（MIN）GoogLeNetResNet深度学习框架简介在计算机视觉中的应用目录目录神经网络兴衰史神经网络兴衰史神经网络简要介绍神经网络简要介绍第一次兴起（第一次兴起（19581958年）：

年）：

感知机，由于没有引入非线性，不能求解异或问题。

第二次兴起（第二次兴起（19861986年）：

年）：

将BP（BackPropagation）算法用于ANN的训练过程。

第三次兴起（第三次兴起（20122012年）：

年）：

深度卷积神经网络的兴起，一直到现在。

BPBP算法：

信号的正向传播算法：

信号的正向传播和误差的反向传播。

和误差的反向传播。

萌芽期萌芽期1940sMP模型模型阈值加和阈值加和模型模型Hebb学习学习规则规则第一次高潮第一次高潮1960s第二次高潮第二次高潮1980s第三次浪潮第三次浪潮2000s感知器模型感知器模型自适应自适应-线性单元线性单元Hopfield网络网络Boltzman机机BP算法算法SVMVapnik95BoostingSchapire95深度网络深度网络DBNDBMDeepCNNRNNG.E.HintonY.BengioY.LecunAndrewNgRobFergus人工神经网络发展历程人工神经网络发展历程低谷CNNLeCun98低谷DeepLearning,Science2006（vol.313,pp.504-507）Neuralnetworksarecomingback!

1.具有多个隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2.深度神经网络在训练上的难度，可以通过“逐层初始化”（Layer-wisePre-training）来有效克服。

两个重要的信息：

两个重要的信息：

人工神经网络发展历程人工神经网络发展历程在语音识别取得重大突破在语音识别取得重大突破百度百度:

deepspeech2011年以来，错误年以来，错误率降低率降低2030%!

2012年11月，微软在天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译，以及中文语音合成，效果非常流畅。

人工神经网络发展历程人工神经网络发展历程GoogleBrainGoogleBrain项目（纽约时报项目（纽约时报20122012年年66月报道）月报道）2011年开始，年开始，GoogleBrain项目采用项目采用16000个个CPUCore的并行计算的并行计算平台训练平台训练“深层神经网络深层神经网络”，在图像识别等领域获取巨大成功！

在图像识别等领域获取巨大成功！

吴恩达吴恩达人工神经网络发展历程人工神经网络发展历程在图像处理和计算机视觉中的应用迅速展开在图像处理和计算机视觉中的应用迅速展开贾扬清等发布了卷积神经网络开源包Caffe有力地促使了CNN技术从象牙塔走向工业界人工神经网络发展历程人工神经网络发展历程AlphaGoMaster3:

0柯柯洁2017年年1月月AlphaGoFan5:

0樊麾樊麾2015年年10月月AlphaGoLee4:

1李世石李世石2016年年3月月100:

0战胜Lee版本，89:

11战胜Master版本！

AlphaGoZero20172017年年1010月月AlphaZero:

最大特点是无需人类棋谱，仅利用围棋规则Alpha-FanAlpha-FanAlphaGo-LeeAlphaGo-LeeAlphaMasterAlphaMasterAlphaZeroAlphaZero人工神经网络发展历程人工神经网络发展历程为什么有效为什么有效浅层神经网络可以近似任意函数，为何多层？

浅层神经网络可以近似任意函数，为何多层？

深层网络结构中，高层可以综合应用低层信息。

高层可以综合应用低层信息。

低层关注“局部”，高层关注高层关注“全局全局”、更具有语、更具有语义化信息。

义化信息。

为自适应地学习非线性处理过程自适应地学习非线性处理过程提供了一种可能的一种可能的简洁、普适的结构模型。

简洁、普适的结构模型。

特征提取与分类器可以一起学习。

特征提取与分类器可以一起学习。

人工神经网络发展历程人工神经网络发展历程发展基础：

发展基础：

数据爆炸：

数据爆炸：

图像数据、文本数据、语音数据、社交网络数据、科学计算等计算性能大幅提高计算性能大幅提高神经网络简要介绍神经网络简要介绍人类视觉机理：

人类视觉机理：

DavidHubel和TorstenWiesel发现了视觉系统的信息处理方式，即视皮层的分级特性，获得1981年诺贝尔生理学或医学奖。

Low-levelsensingPreprocessingFeatureextractionFeatureselectionInference:

prediction,recognition本图取自：

本图取自：

http:

/imagesofvariousanimals,learningtoclassifythemInput:

Anunlabeledimageisshowntothepre-trainednetworkFirstLayer:

theneuronsrespondtodifferentsimpleshapes,likeedgesHighLayer:

theneuronsrespondtomorecomplexstructuresTopLayer:

theneuronsrespondtohighlycomplex,abstractconceptsthatwewouldidentifyasdifferentanimalsOutput:

Thenetworkpredictswhattheobjectmostlikelyis,basedonitstraining神经网络简要介绍神经网络简要介绍人工神经网络（人工神经网络（ArtificialNeuralNetworksArtificialNeuralNetworks，ANNANN）-通过映射解决分类问题，对网络的训练即对映射函数的学习问题。

卷积层（5层）：

用于特征提取全连接（3层）:

人工神经网络：

用于分类神经网络简要介绍神经网络简要介绍输入层（Input）：

数据输入隐含层（Hiddenlayer）：

空间变换输出（Output）三层神经三层神经网络模型网络模型曲线上的采样点是线性不可分经空间变换后，曲线上的采样点是线性可分的神经网络简要介绍神经网络简要介绍神经元神经元树突输入神经元接收信号隐含层输入神经元激活轴突发出信号隐含层输出ANNANNANN是对大脑神经元信号传输的模拟神经网络简要介绍神经网络简要介绍感知机（感知机（PerceptronPerceptron）通过查找超平面解决二类分类问题（通过二值函数解决二类分类问题）公式表达：

公式表达：

可看作对输入的空间变换四种空间变换：

维度、缩放、旋转、平移感知机中的线性映射限制了模型的表达能力，线性变化的组合仍为线性变化。

神经网络简要介绍神经网络简要介绍ANNANN基本构成基本构成：

感知机（Perceptron）+激活函数激活函数第五种空间变换：

扭曲（非线性）ANNANN每层输出为：

每层输出为：

其中，为激活函数（原来是阈值函数）常用激活函数：

SigmoidTanh（反正切函数）感知机：

线性变换激活函数：

非线性，引入非线性激活函数，提高网络的非线性表达能力神经网络简要介绍神经网络简要介绍输入层隐含层1隐含层N分类输出多层结构的人工神经网络多层结构的ANN，从单层到多层的扩展：

进一步提升对非线性的表达，得到更加抽象的特征表述。

-根据问题设计网络深度，一般35层。

.人工神经网络单个节点输出神经网络简要介绍神经网络简要介绍ANNANN训练：

训练：

前向输出计算前向输出计算+反向梯度传播（BP算法）设网络具有层，为层中第个节点输出，表示从到的连接权重。

前向传播1、计算每层中每个节点的输出为激活函数2、在输出层计算损失为目标参考输出，一般从样本训练中得到。

.loss前向传播过程1神经网络简要介绍神经网络简要介绍ANNANN训练：

训练：

前向输出计算+反向梯度传播（反向梯度传播（BPBP算法）算法）反向传播3、由输出层开始逐层计算前层误差4、修正连接权重ANN可视化平台Tensorflowplayground.梯度反传过程神经网络简要介绍神经网络简要介绍深度神经网络深度神经网络（DNN）-（DNN）-用神经网络模拟大脑的识别过程用神经网络模拟大脑的识别过程神经网络神经网络-全连接全连接oror卷积？

卷积？

图：

全连接与卷积示意图深度卷积神经网络介绍深度卷积神经网络介绍底层提取初级特征高层对低层特征组合与抽象深度卷积神经网络介绍深度卷积神经网络介绍卷积神经网络（卷积神经网络（CNNCNN）：

卷积）：

卷积+池化池化+全连接全连接卷积：

卷积：

局部特征提取训练中进行参数学习每个卷积核提取特定模式的特征池化（下采样）：

池化（下采样）：

降低数据维度，避免过拟合增强局部感受野提高平移不变性全连接：

全连接：

特征提取到分类的桥梁底层特征具有局部特性，因此可以利用卷积窗口进行特征提取。

图像中不同区域的底层特征（如边界）具有相似性，可以共享一组滤波器。

用卷积代替全连接进行特征提取对底层特征组合得到更具语义信息的高层特征。

深度卷积神经网络深度卷积神经网络介绍深度卷积神经网络介绍深度卷积神经网络介绍经典深度神经网络模型LeNetAlexNetVGGNetNetworkinNetwork（MIN）GoogLeNetResNet深度学习框架在计算机视觉中的应用目录目录网络模型网络模型LeNetAlexNetMINVGGNetGoogLeNet（Inception）ResNetInceptionResNet图3：

ILSVRC图像分类竞赛近年结果。

网络结构的改进网络深度的增加图2：

深度卷积神经网络发展图图4：

LeNet网络结构，来源于文献1。

最早的深度卷积神经网络模型，用于字符识别。

网络具有如下特点：

卷积神经网络使用三个层作为一个系列：

卷积，池化，非线性使用卷积提取空间特征使用映射到空间均值的下采样（subsample）双曲线（tanh）或S型（sigmoid）形式的非线性多层神经网络（MLP）作为最后的分类器1Y.Lecun,L.Bottou,Y.BengioandP.Haffner.Gradient-BasedLearningAppliedtoDocumentRecognition.ProceedingsoftheIEEE,vol.86,no.11,1998.LeNet提供了利用卷积层堆叠进行特征提取的框架，开启了深度卷积神经网络的发展。

LeNetAlexNetAlexNet在LeNet基础上进行了更宽更深的网络设计，首次在CNN中引入了ReLU、Dropout和LocalResponseNorm（LRN）等技巧。

网络的技术特点如下：

使用ReLU（RectifiedLinearUnits）作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题，提高了网络的训练速率。

为避免过拟合，训练时使用Dropout随机忽略一部分神经元。

使用重叠的最大池化（maxpooling）。

最大池化可以避免平均池化的模糊化效果，而采用重叠技巧可以提升特征的丰富性。

提出了LRN层（ReLU后进行归一化处理），对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。

利