《深度学习》入门教程.pptx

1、,of,65,1,6.5手写体数字识别项目实例,6.6 深度学习应用,习题,6.1概述,第六章 深度学习,of,65,2,深度学习（Deep Learning）的概念是由Hinton、Yoshua Bengio和Yann Lecun等人提出的，涉及神经网络、图建模、人工智能、模式识别、最优化理论和信号处理等领域。由于深度学习在各类竞赛中，相对于传统方法有着显著的性能提升，越来越多的学术机构和企业把目光转向了深度学习领域。例如：2010年美国国防部DARPA首次资助深度学习项目；2012年11月，微软在天津展示了全自动同声传译系统，用英文演讲，采用深度学习作为支撑，后台计算机自动完成了语音识别、

2、中英机器翻译和中文语音合成；2013年1月，百度创始人宣布成立百度研究院，其中第一个成立的就是“深度学习研究所”；2013年4月，麻省理工学院技术评论杂志将深度学习列为2013年十大突破性技术之首。,6.1概述,第六章 深度学习,6.1.1人工智能简史,of,65,3,发展历程三个阶段,20世纪40年代中期到50年代末期被称为人工智能的启蒙探索阶段。,20世纪60年代初期到80年代末期被称为人工智能的发展阶段。,20世纪90年代初期到现在被称为人工智能的繁荣阶段。,6.1概述,第六章 深度学习,of,65,4,（1）20世纪40年代中期到50年代末期,人工智能的启蒙探索阶段,6.1概述,第六章

3、 深度学习,of,65,5,（2）20世纪60年代初期到80年代末期,人工智能的发展阶段,6.1概述,第六章 深度学习,of,65,6,（3）20世纪90年代初期至今,人工智能的繁荣阶段,6.1概述,第六章 深度学习,6.1.2大数据与深度学习,of,65,7,2006年Hinton等人提出深度学习的概念，该方法基于深度置信网络提出非监督逐层训练的算法，为解决深层结构相关的优化难题带来了希望，掀起了深度学习在学术界和工业界的浪潮。随着CPU和GPU计算能力的大幅提升，深度学习拥有了的更高效的硬件平台作为支撑。大数据时代的海量数据解决了早期神经网络由于训练样本不足出现的过拟合、泛化能力差等问题。

4、因此，大数据需要深度学习，深度学习的发展又需要大数据的支撑。在未来几年，深度学习将会被广泛应用于大数据的预测，而不是停留在浅层模型上，这将推动“大数据+深度模型”时代的来临，以及人工智能和人机交互的前进步伐。,6.1概述,第六章 深度学习,6.1.3人工智能的未来,of,34,8,人工智能一直处于计算机技术的前沿，计算机技术的发展方向将很大程度上依赖人工智能理论方面的研究和发现。人工智能对现代社会已经产生了巨大的影响，在工业领域尤其是制造业，已经成功地使用了人工智能技术，例如，智能设计、在线分析、仿真、虚拟制造、智能调度和规划等。在金融业，股票商利用人工智能系统进行分析、判断和决策，信用卡欺诈

5、检测系统也得到了普遍应用；在传媒领域，新华网推出了自主研发的第一代生物传感智能机器人“Star”。人工智能还对人们的日常生活产生了影响，Siri、实时在线地图、语音搜索等一系列智能产品已经给我们的生活带来了极大的方便。,6.1概述,第六章 深度学习,of,65,9,未来应该是一个人工智能的世界。一朵花可能拥有智能，根据主人的心情来开放；每个人都有一个智能伴侣，让我们更加理性地购物；甚至还能帮助信徒决定他们的人生信仰等。未来的人工智能将很多领域代替人类，并能服务我们人类自身，处理我们日常的生活。,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,of,65,10,6.6 深度学习应用,

6、习题,6.5手写体数字识别项目实例,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.1探秘大脑的工作原理,of,65,11,大脑是人类活动的“信息处理中心”，支配着人类大多数的生命活动。大脑中存在着无数神经元，是大脑处理信息的基本单元。神经元之间相互连接，构成神经网络，不同区域的神经网络负责不同的功能，各区域相互协作，完成大脑的所有处理活动。当外界信息通过感官系统，传到大脑时，大脑对其做一个简单的模式分析和识别，再将其交给对应的处理区域。在学习过程中，大脑接收的信息越多，各个区域存储的模式以及模式之间的联系也就越多。如此积累下去，大脑逐渐理解模式分类的规则以及模式之间的联系，最终形成我

7、们对世界各种事物的认知。,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.2人脑神经元结构,of,65,12,神经元结构示意图,树突是神经元两端呈树枝状的突起，是接收其他神经元信息的入口。轴突是神经元中一个细长的突起，每个神经元只有一个。突触是两个神经元传递冲动相互接触的地方。与其他神经元的树突相连，当兴奋达到一定阈值时，突触前膜向突触间隙释放神经传递的化学物质，实现神经元之间的信息传递。人工神经网络中的神经元模仿了生物神经元的这一特性，利用激活函数将输入结果映射到一定范围内，若映射后的结果大于阈值，则神经元被激活。,生物神经元又叫神经细胞，是一个长突起的细胞，主要由细胞体、树突、轴突

8、、突触构成。,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.3人脑神经网络,of,65,13,人类的大脑并不是一开始就能处理一些复杂的问题，而是由外界刺激决定了神经网络的生长，各种信息刺激了脑部发育，脑内的神经元之间不断重组，连接，形成更复杂的神经网络，使个体渐渐具有其他的活动能力。,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.4人工神经网络,of,65,14,1、感知器是一种权衡依据做出的决策方法，随着权重和阈值的变化，可以得到不同的决策模型。,Rosenblatt提出了一个简单算法来计算输出：通过带权重 的连接，表示相应输入对输出的重要性，神经元的输出由加权和 和阈值

9、 决定，具体的表达形式如下：,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.4人工神经网络,of,65,15,2、神经元是构成神经网络的基本单元，通过调整内部节点之间的相互连接关系，达到处理信息的目的。,神经元使用一个非线性的激活函数，得到一个输出，以最简单的两层神经网络为例。这个神经网络有3个神经元：，+1表示偏置节点的运算，则相应的输出为：,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.4人工神经网络,of,65,16,（1）阶跃函数：，函数图像如图所示：,阶跃函数示意图,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.4人工神经网络,of,65,17,（2）S

10、igmoid函数：，Sigmod函数是一个输出在（0,1）的开区间的有界函数，函数图像如图所示。,双曲线正切函数示意图,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.4人工神经网络,of,65,18,（3）双曲线正切函数：，双曲正切函数是一个输出在（-1,1）开区间有界函数，函数图像如图所示。,Sigmoid函数示意图,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.4人工神经网络,of,65,19,Rectifier函数示意图,（4）Rectifier函数：，函数图像如图所示。其中，当激活函数为阶跃函数时，神经元模型就是感知器。,6.2人脑神经系统与深度学习,第六章 深度学

11、习,3、神经网络的架构,of,65,20,一般的神经网络是层级结构，每层神经元与下一层神经元相互连接，同层神经元及跨层神经元之间相互无连接，每一层神经元的输出作为下一层神经元的输入，这种网络被称为前馈神经网络。,最左边的一层（第一层）称为输入层，其中的神经元称为输入神经元。最右边的一层（最后一层）称为输出层，其中的神经元称为输出神经元。中间一层则被称为隐藏层，既不是输入层也不是输出层。本例讨论的是只有一个输出和一个隐藏层。但是，在实际中神经网络可以有多个输出和多个隐藏层。这种多层网络有时被称为多层感知器。,三层神经网络示意图,6.2人脑神经系统与深度学习,第六章 深度学习,of,65,21,多

12、层神经网络中除了输入层，每个神经元都是一个多输入单输出信息处理单元。如图所示，它表示了一个多层神经网络，需要注意，网络中所有连接都有对应的权重和偏置。但是图中只标记了三个权重 w1，w2，w3。,多层神经网络示意图,6.2人脑神经系统与深度学习,第六章 深度学习,4、误差逆传播算法,of,65,22,多层网络的学习能力比单层感知机强得多，如果想要训练多层网络，误差逆传播（简称BP）是迄今为止最杰出的神经网络学习算法。BP是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。,梯度下降示意图,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,of,65,23,6

13、.5手写体数字识别项目实例,6.6 深度学习应用,习题,6.3深度神经网络,第六章 深度学习,6.3.1整体架构,of,65,24,深度神经网络发展到今天，学术界已经提出了多种网络模型，其中影响力较大的有以下几种：,卷积神经网络,包含三种类型的层，分别是卷积层、下采样层及全连接层。通过卷积核与上一层输出进行卷积作为卷积层的输出，这样可以达到权值共享的目的；下采样是在卷积层的基础上，在一个固定区域中采样一个点，使得整个网络具有一定的缩放、平移及形变不变性。,深度置信网络,由若干层受限玻尔兹曼机及一个反向传播网络组成。深度置信网络的训练过程分为两步，首先利用贪婪算法无监督地训练每一层受限玻尔兹曼机

14、，然后将上一步训练得到的数据作为网络初始值，利用BP算法有监督地训练整个网络。,循环神经网络,该网络与传统前馈网络的区别在于，隐层的输入不仅包括输入层的数据，还包括前一时刻的隐层数据。这种结构的网络能有效处理序列数据，如自然语言处理。,6.3深度神经网络,第六章 深度学习,6.3.2卷积神经网络,of,65,25,三个主要特点,6.3深度神经网络,第六章 深度学习,6.3.2卷积神经网络,of,65,26,局部感受区域,从大脑进行人脸识别的过程图可以看出，最底层是摄入的原始信息像素，往上逐渐组织形成一些边缘特征，再向上，边缘特征组合形成更有表现力的物体局部特征，如眼睛、耳朵等，到了最顶层，不同

15、的高级特征组合起来，形成最终完整的人脸图像。,6.3深度神经网络,第六章 深度学习,6.3.2卷积神经网络,of,65,27,权值共享,局部连接的卷积核会对全部图像数据进行滑动扫描，使得卷积层训练参数的数量急剧减少，提高了网络的泛化能力。此外，权值共享意味着一个卷积层中的神经元均在检测同一种特征，与所处位置无关，所以，具有平移不变性。,6.3深度神经网络,第六章 深度学习,6.3.2卷积神经网络,of,65,28,降采样,一般的做法是将前一层的局部区域值映射为单个数值，与卷积层不同的是，降采样区域一般不存在重叠现象。降采样简化了卷积层的输出信息，进一步减少了训练参数的数量，增强了网络的泛化能力

16、。,6.3深度神经网络,第六章 深度学习,6.3.3深度置信网络,of,65,29,深度置信网络打破了深度神经网络难以训练的观点。,深度置信网络是一种生成模型，和传统神经网络相似，网络中存在若干隐藏层，并且同一隐藏层内的神经元没有连接，隐藏层间的神经元全连接。最上面两层间为无向连接，其中包含标签神经元，称为联合记忆层。其他层间为有向连接，自上而下为生成模型，指定输出。自下而上则为判定模型，可以用作图像识别等任务。,6.3深度神经网络,第六章 深度学习,6.3.4循环（递归）神经网络,of,65,30,循环神经网络,典型的前馈神经网络,最大的区别,最大区别在于网络中存在环形结构，隐藏层内部的神经

17、元是互相连接的，可以存储网络的内部状态，其中包含序列输入的历史信息，实现了对时序动态行为的描述。,6.3深度神经网络,第六章 深度学习,6.3.4循环（递归）神经网络,of,65,31,循环神经网络架构图,循环神经网络示意图,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,of,65,32,6.5手写体数字识别项目实例,6.6 深度学习应用,习题,6.4软硬件实现,第六章 深度学习,6.4.1TensorFlow,of,65,33,TensorFlow实现了本地和分布式两种接口机制。本地实现机制的client端、master端和worker均运行在同一个机器中；分布式实现机制它与本

18、地实现的代码基本相同，但是client端、master端和worker进程一般运行在不同的机器中，所包含的不同任务由一个集群调度系统进行管理。,具备如下优点：1.多样化部署；2.可被基于梯度的机器学习算法借鉴；3.灵活的Python接口；4.可映射到不同硬件平台；5.支持分布式训练。,6.4软硬件实现,第六章 深度学习,6.4.2Caffe,of,65,34,1,2,3,模块化,表示和实现分离,测试覆盖,4,5,6,Python和Matlab接口,预训练参考模型,速度快,Caffe特点,6.4软硬件实现,第六章 深度学习,6.4.3其他深度学习软件,of,65,35,1.CNTK,2.MXNe

19、t,3.Theano,4.Torch,5.Deeplearning4j,6.4软硬件实现,第六章 深度学习,6.4.3其他深度学习软件,of,65,36,CNTK的5个主要特点,6.4软硬件实现,第六章 深度学习,6.4.3其他深度学习软件,of,65,37,MXNet的7个主要特点：,（1）其设计说明可以被重新应用到其他深度学习项目中。（2）任意计算图的灵活配置。（3）整合了各种编程方法的优势，最大限度地提高灵活性和效率。（4）轻量、高效的内存，以及支持便携式的智能设备，如手机等。（5）多GPU扩展和分布式的自动并行化设置。（6）支持Python、R、C+和Julia。（7）对云计算友好，直

20、接兼容S3、HDFS和Azure。,6.4软硬件实现,第六章 深度学习,6.4.3其他深度学习软件,of,65,38,Theano的6个主要特点,6.4软硬件实现,第六章 深度学习,6.4.3其他深度学习软件,of,65,39,Torch的4个主要特点,6.4软硬件实现,第六章 深度学习,6.4.3其他深度学习软件,of,65,40,依赖于广泛使用的编程语言Java。,可专门用于处理大型文本集合。,Canova向量化各种文件形式和数据类型。,集合了Cuda内核，支持CPU和分布式GPU。,Deeplearning4j的4个主要特点：,6.4软硬件实现,第六章 深度学习,6.4.4深度学习一体机

21、,of,65,41,深度学习一体机外观图,深度学习一体机服务器内部图,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,of,65,42,6.5手写体数字识别项目实例,6.6 深度学习应用,习题,6.5手写体数字识别项目实例,第六章 深度学习,6.5.1数据准备,of,65,43,测试集用来建立模型。,训练集用来评估模型的预测能力。,首先准备一批图像数据，将图像数据集分为测试集和训练集两个部分。,6.5手写体数字识别项目实例,第六章 深度学习,6.5.2模型设计,LeNet模型网络结构,定义一,定义二,定义三,定义四,定义了全连接层ip1，非线性层relu1，全连接层ip2，实现了卷

22、积神经网络的高层表示。,定义了分类准确率层accuracy，损失层loss用于计算分类的准确率accuracy和损失值loss。,定义了两个数据层，输入LMDB格式的数据集，分别用于训练和测试阶段。,定义了卷积层conv1、池化层pool1、卷积层conv2、池化层pool2，用于逐层提取局部特征。,of,65,44,6.5手写体数字识别项目实例,第六章 深度学习,6.5.3模型训练,of,65,45,学习策略,定义网络结构的文件路径,A,测试的迭代次数,B,训练的迭代次数,C,网络参数,D,E,最大迭代次数,F,编写模型训练脚本包括六点,./build/tools/caffe.bin tes

23、t-model examples/mnist/lenet_train_test.prototxt-weights examples/mnist/lenet_iter_10000.caffemodel-iterations 100,6.5手写体数字识别项目实例,第六章 深度学习,6.5.4模型测试,of,65,46,利用最终训练好的模型权值文件，可以对测试数据集进行预测。命令如下：,命令指定了只进行模型预测，不进行参数更新，即只前向传播计算，不后向传播计算。指定了模型描述文本文件路径，模型训练好的权值文件以及测试的迭代次数。,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,of,65

24、,47,6.5手写体数字识别项目实例,6.6 深度学习应用,习题,6.6深度学习应用,第六章 深度学习,6.6.1语音识别,of,65,48,语音识别是实现人机自由交互、推动人工智能发展的关键技术。语音识别技术主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。其应用领域非常广泛，常见的应用系统有语音输入系统、语音控制系统和智能对话查询系统。,6.6深度学习应用,第六章 深度学习,6.6.2图像分析,of,65,49,相对于物体识别，物体检测任务更加困难。在一幅图像中，可能包含属于不同类别的多个物体，物体检测需要确定每个物体的位置和类别。,6.6深度学习应用,第六章 深度学习,6.6.3

25、自然语言处理,of,65,50,除了语音识别和图像分析，自然语言处理（NLP）是深度学习的另一个重要的应用领域。它属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理是用电脑处理人类的语言，如英语、汉语、法语等，其主要应用包括机器翻译、信息抽取等。,1简述人工神经网络定义。2简述神经网络的架构。3简述误差逆传播（Error BackPropagation）算法。4大数据与深度学习之间有什么样的关系？5查询相关资料，简述人工智能的未来发展。6目前影响力比较大的深度学习模型有哪些？7自动编码器主要有哪两种变体？8卷积神经网络主要有哪些特点？9降采样操作常用的类型有哪些？10简述循环神经网络的架构。11分别简述CNTK、MXNet、Theano、Torch深度学习软件的主要特点。12简述深度学习在现实生活中的应用。,习题：,感谢聆听,