机器学习必知的八大神经网络架构Word下载.docx

1、若数据修改，法度在新数据上训练且被更新。年夜量的计算比支付手写法度要廉价的多。机器学习的应用如下：1.模式识别：识别实际场景的面部或脸色、语言识别。2.识别异常：信用卡交易顺序异常，核电厂传感器读数模式异常。3.预测：未来股价或货币汇率，个人观影喜好。什么是神经网络？神经网络是一种通用机器学习模型，是一套特定的算法集，在机器学习领域掀起了一场变动，自己就是普通函数的迫近，可以应用就任何机器学习输入到输出的庞杂映射问题。一般来说，神经网络架构可分为3类：1.前馈神经网络：是最罕见的类型，第一层为输入，最后一层为输出。如果有多个隐藏层，则称为“深度”神经网络。它能够计算出一系列事件间相似转变的变更

2、，每层神经元的活动是下一层的非线性函数。2.循环神经网络：各节点之间构成循环图，可以依照箭头的标的目的回到初始点。循环神经网络具有庞杂的静态，难以训练，它模拟连续数据，相当于每个时间片段具有一个隐藏层的深度网络，除在每个时间片段上使用相同的权重，也有输入。网络可以记住隐藏状态的信息，可是很难用这点来训练网络。3.对称连接网络：和循环神经网络一样，但单位间的连接是对称的（即在两个标的目的的连接权重相同），它比循环神经网络更容易阐发，可是功能受限。没有隐藏单位的对称连接的网络被称为“Hopfiels网络”，有隐藏单位的对称连接的网络则被称为“波兹曼机器”。一、感知机（Perceptron）作为第一

3、代神经网络，感知机是只有一个神经元的计算模型。首先将原始输入矢量转化为特征矢量，再用手写法度界说特征，然后学习如何对每个特征加权获得一个标量，如果标量值高于某一阈值，则认为输入矢量是目标类的一个积极样例。标准的感知机结构是前馈模型，即输入传送到节点，处理后产生输出结果：从底部输入，顶部输出，如下图所示。但也有其局限性：一旦确定了手写编码特征，在学习上就受到了较年夜限制。这对感知器来说是毁灭性的，尽管转换类似于翻译，可是模式识另外重点是识别模式。如果这些转换形成了一个组，学习的感知器部分不克不及学会识别，所以需要使用多个特征单位识别子模式的转换。没有隐藏单位的网络在输入输出映射建模上也有很年夜局

4、限性。增加线性单位层也解决不了，因为线性叠加依然是线性的，固定的非线性输出也不克不及建立这种映射。因此需要建立多层自适应的非线性隐藏单位。二、卷积神经网络（Convolutional Neural Network）一直以来，机器学习研究广泛集中在对象检测上，但仍有诸多因素使其难以识别对象：1.对象联系、遮挡问题；2.照明影响像素强度；3.物体以各种不合的形式展现；4.相同功能的对象具有不合的物理形状；5.视觉不合带来的变更；6.维度跳跃问题。复制特征办法是以后CNN用于目标检测的主要办法，年夜规模的复制不合位置上相同的特征检测图，年夜年夜减少了要学习的自由参数数量。它使用不合的特征类型，每种类

5、型都有自己的复制检测图，也允许以各种方法暗示每个图像块。CNN可用于手写数字识别到3D对象识别等，但从黑色图像中识别对象比手写数字识别要庞杂，它的类别、像素是数字的100倍（1000 vs 100，256*256黑色vs28*28灰度）。的ILSVRC竞赛中的ImageNet提供一个包含120万张高辩白率训练图像的数据集。测试图像没有标注，参赛者需要识别图像中对象的类型。获胜者 Alex Krizhevsky开发了一个深度卷积神经网络，除一些最年夜池化层，架构还有7个隐藏层，前面都是卷积层，最后2层是全局连接。激活函数在每个隐藏层都是线性单位，比逻辑单位速度更快，还使用竞争性规范标准抑制隐藏活

6、动，有助于强度变更。硬件上，在两个Nvidia GTX 580 GPU（超出1000个快速内核）上使用一个高效卷积网络实现，很是适合矩阵乘法，具有很高的内存带宽。三、循环神经网络（Recurrent Neural Network）循环神经网络（RNN）有两个强年夜的属性可以计算任何计算机计算出来的工具：（1）允许存储年夜量有效信息的散布式隐藏状态（2）用庞杂的方法允许更新隐藏状态的非线性静态。RNN强年夜的计算能力和梯度消失（或爆炸）使其很难训练。通过多层反向传播时，若权重很小，则梯度呈指数缩小；若权重很年夜，则梯度呈指数增长。典范的前馈神经网络的一些隐藏层可以应对指数效应，另一方面，在长序列

7、RNN中，梯度容易消失（或爆照），即使有好的初始权重，也很难检测出以后依赖于多个时间输入的目标输出因此很难处理远程依赖性。学习RNN的办法如下：1.长短时间记忆：用具有长期记忆值的小模块制作RNN。2.Hessian Free Optimization：使用优化器处理梯度消失问题。3.回声状态网络：初始化输入隐藏和隐藏隐藏和输出隐藏链接，使隐藏状态有一个巨年夜的弱耦合振荡器蕴藏，可以选择性的由输入驱动。4.用动量初始化：和回声状态网络一样，再用动量学习所有连接。长短时间记忆网络（Long/Short Term Memory Network）Hochreiter & Schmidhuber（19

8、97年）构建了长短时间记忆网络，解决了获取RNN长时间记忆问题，使用乘法逻辑线性单位设计存储单位，只要坚持“写入”门掀开，信息就会写入并坚持在单位中，也可以掀开“读取”门从中获取数据。RNN可以阅读行书，笔尖的输入坐标为（x,y,p），p代表笔是向上还是向下，输出则为一个字符序列，使用一系列小图像作为输入而不是笔坐标。Graves & Schmidhuber（）称带有LSTM的RNN是阅读行书的最佳系统。霍普菲尔德网络（Hopfield Networks）非线性循环网络有很多种表示方法，较难阐发：能达到稳定、震荡或馄饨状态这三种表示形式。Hopfield网络是由有循环连接的二进制阈值单位组成。

9、1982年，约翰霍普菲尔德发明，如果连接对称，则存在一个全局能量函数，整个网络的每个二进制“结构”都有能量，而二进制阈值决策规则使网络为能量函数设置一个最小值。使用这种计算类型最简单的办法是将记忆作为神经网络的能量最小值。使用能量最小值暗示记忆给出了一个内容可寻内存，可通过了解局部内容来拜访整个项目。每记忆一次配置，都希望能产生一个能量最小值。但如果有两个最小值就会限制Hopfield网络容量。伊丽莎白加德纳发明有一个更好的存储规则，它使用了所有的权重。而不是试图一次存储多个矢量，她通过训练集进行屡次循环，并用感知器收敛法度训练每个单位，使该矢量的所有其它单位具有正确的状态。六、玻尔兹曼机（B

10、oltzmann Machine Network）玻尔兹曼机是一种随机循环神经网络，可以被看作是Hopfield网络的随机生成产品，是最先学习内部representations的神经网络之一。该算法旨在最年夜限度地提高机器在训练集中分派给二进制矢量的几率的乘积，相当于最年夜化其分派给训练矢量的对数几率之和，办法如下：（1）网络没有外部输入时，使网络在不合时间散布稳定；（2）每次对可见矢量采样。，Salakhutdinov和Hinton为玻尔兹曼机写了有效的小批量学习法度。将模型更新，称之为受限玻尔兹曼机，详情请检查原文。七、深度信念网络（Deep Belief Network）反向传播，是人工

11、神经网络计算处理一批数据后每个神经元的误差散布的标准办法，可是也存在一些问题。首先要标注训练数据，但几乎所有数据都没有标注；其次，学习时间缺乏，这意味着隐藏层数较多的网络较慢；第三，可能会使局部陷入最晦气局面。因此，对深度网络来说这远远不敷。无监督学习办法克服了反向传播的限制，使用梯度办法调整权重有助于坚持架构的效率和简单性，还可以将它用于对感官输入结构建模。特另外是，它调整权重，将产生感官输入的生成模型几率最年夜化。信念网络是由随机变量组成的有向非循环图，可推断未观测变量的状态，还可以调整变量间的交互，使网络更可能产生训练数据。早期图形模型是专家界说图像结构和条件几率，这些图形是稀疏连接的，

12、他们专注于做正确的推论，而不是学习。但对神经网络来说，学习是重点，其目的不在于可解释性或稀疏连接性使推断变得更容易。八、深度自动编码器（Deep Autoencoders）该架构提供了两种映射方法，好像是一个做非线性降维很是好的办法，它在训练事例的数量上是线性的（或更好的），而最终编码模型相当紧凑和快速。然而，使用反向传播优化深度自动编码器很困难，若初始权重较小，反向传播梯度会消失。我们使用无监督逐层预训练或像回声状态网络一样认真的初始化权重。对预训练任务有三种不合类型的浅自动编码器：（1）RBM作为自动编码器；（2）去噪自动编码器；（3）压缩自动编码器。对没有年夜量标注的数据集，预训练有助于后续的判别式学习。即即是深度神经网络，对年夜量的标注数据集，无监督训练对权重初始化其实不是需要的，预训练是初始化深度网络权重的第一个好办法，现在也有其它办法。但如果扩年夜网络，需要再次做预训练。总结传统的编程办法是我们告诉计算机做什么，将年夜问题分化成很多小而精确的且计算机可以轻松执行的任务。神经网络则不需要告诉计算机如何解决问题，而是从观测到的数据中学习，找到解决问题的办法。