神经网络最新发展综述.docx
《神经网络最新发展综述.docx》由会员分享，可在线阅读，更多相关《神经网络最新发展综述.docx（16页珍藏版）》请在冰豆网上搜索。
神经网络最新发展综述
神经网络最新发展综述
学校：
上海海事大学
专业：
物流工程
姓名：
周巧珍
学号：
201530210155
神经网络最新发展综述
摘要：
作为联接主义智能实现的典范，神经网络采用广泛互联的结构与有效的学习机制来模拟人脑信息处理的过程，是人工智能发展中的重要方法，也是当前类脑智能研究中的有效工具。
目前，模拟人脑复杂的层次化认知特点的深度学习成为类脑智能中的一个重要研究方向。
通过增加网络层数所构造的“深层神经网络”使机器能够获得“抽象概念”能力，在诸多领域都取得了巨大的成功，又掀起了神经网络研究的一个新高潮。
本文分8个方面综述了其当前研究进展以及存在的问题，展望了未来神经网络的发展方向。
关键词:
类脑智能；神经网络；深度学习；大数据
Abstract:
Asatypicalrealizationofconnectionismintelligence,neuralnetwork,whichtriestomimictheinformationprocessingpatternsinthehumanbrainbyadoptingbroadlyinterconnectedstructuresandeffectivelearningmechanisms,isanimportantbranchofartificialintelligenceandalsoausefultoolintheresearchonbrain-likeintelligenceatpresent.Currently,asawaytoimitatethecomplexhierarchicalcognitioncharacteristicofhumanbrain,deeplearningbringsanimportanttrendforbrain-likeintelligence.Withtheincreasingnumberoflayers,deepneuralnetworkentitlesmachinesthecapabilitytocapture“abstractconcepts”andithasachievedgreatsuccessinvariousfields,leadinganewandadvancedtrendinneuralnetworkresearch.Thispapersummarizesthelatestprogressineightapplicationsandexistingproblemsconsideringneuralnetworkandpointsoutitspossiblefuturedirections.
Keywords:
artificialintelligence;neuralnetwork;deeplearning;bigdata
1引言
实现人工智能是人类长期以来一直追求的梦想。
虽然计算机技术在过去几十年里取得了长足的发展，但是实现真正意义上的机器智能至今仍然困难重重。
伴随着神经解剖学的发展，观测大脑微观结构的技术手段日益丰富，人类对大脑组织的形态、结构与活动的认识越来越深入，人脑信息处理的奥秘也正在被逐步揭示。
如何借助神经科学、脑科学与认知科学的研究成果，研究大脑信息表征、转换机理和学习规则，建立模拟大脑信息处理过程的智能计算模型，最终使机器掌握人类的认知规律，是“类脑智能”的研究目标。
类脑智能是涉及计算科学、认知科学、神经科学与脑科学的交叉前沿方向。
类脑智能的实现离不开大脑神经系统的研究。
众所周知，人脑是由几十多亿个高度互联的神经元组成的复杂生物网络，也是人类分析、联想、记忆和逻辑推理等能力的来源。
神经元之间通过突触连接以相互传递信息，连接的方式和强度随着学习发生改变，从而将学习到的知识进行存储。
模拟人脑中信息存储和处理的基本单元-神经元而组成的人工神经网络模型具有自学习与自组织等智能行为，能够使机器具有一定程度上的智能水平。
神经网络的计算结构和学习规则遵照生物神经网络设计，在数字计算机中，神经细胞接收周围细胞的刺激并产生相应输出信号的过程可以用“线性加权和”及“函数映射”的方式来模拟，而网络结构和权值调整的过程用优化学习算法实现。
按照该方式建立的这种仿生智能计算模型虽然不能和生物神经网络完全等价和媲美，但已经在某些方面取得了优越的性能。
目前神经网络已经发展了上百种模型，在诸如手写体识别、显著性检测、语音识别和图像识别、模式识别、人机交互、优化算法、深度学习等技术领域取得了非常成功的应用。
2.各领域简单介绍
2.1手写体识别
2009年，认识到自由手写文本是一个具有挑战性的任务。
草书分割或重叠的字符的困难，与需要利用周围的环境相结合，导致了较低的识别率，即使是当时最好的识别。
GravesAlex等人[1]提出了一种基于一种新型的递归神经网络，专门为序列标注任务设计的，其中数据是很难段和含有远距离双向的相互依存关系的一种方法。
在两个大型无约束手写数据库的实验中，该方法实现了对在线数据79.7％，而上的脱机数据74.1％的单词识别精度，显著超越国家的最先进的基于HMM的系统。
此外，证明了网络的鲁棒性词汇的大小，测量其隐层的个人影响力。
2010年，CiresanD.C.等人[2]使用整个未变形的训练集进行验证，不浪费训练图像。
原始灰度图像的像素强度的范围从0（背景）到255（最高前景强度）。
每幅图像的28×28=784个像素被映射到真实值在[1.0，1.0]，和被馈送到对NN输入层。
使用2至9隐藏层和单位数目不等的隐藏单元来培养MLPs，。
大多是每一层隐藏单元的数量向输出层（表1）降低，但不都是这样。
结合AFNE（旋转，缩放和水平剪切）和弹性变形，在每一个初划时代整个MNIST训练集被变形。
小型网络初步实验得到一些参数。
表1的结果表明：
极具竞争力的MNIST手写基准，单精度浮点基于GPU的神经网络超越所有先前报告的结果，其中包括涉及专门的架构，无监督的训练前，学习机等分类训练集足够大小的组合更为复杂的方法获得的通过适当地变形的图像被获得。
当然，这种方法并不局限于手写，显然为许多视觉和其他模式识别问题带来了很大的希望。
表1MNIST测试的错误率
2012年，AlexanderGoltsev等人[3]对图像识别（名为里拉的功能）的手写体数字识别的任务进行了研究。
两个神经网络分类被认为-改性3层感知里拉和模块化组件的神经网络。
提出的特征选择的方法，用于分析形成在神经网络分类器的初步学习过程的连接权重。
在使用的手写体数字的MNIST数据库的实验中，特征选择过程允许减少的特征数目（从60000至7000）保可比的识别能力，同时加速计算。
里拉感知和模块化装配神经网络的实验比较完成的，这表明了模块化组装神经网络的识别能力是有所好转。
2.2显著性检测
2015年，WangL.J等人[4]由局部估计和全局搜索整合提出了一个深度网络的显著性检测算法。
在局部估计阶段，我们通过使用局部学习功能的补丁，在全局搜索阶段，局部的显着图与全局的对比度和几何信息一起作为整体特征描述SETOF目标和IDATE区域.深层神经网络（DNN-G）进行训练来进行预测。
如图1。
图1局部估计和全局搜索结合结构图
由于低层次的显著性线索或先验不能够产生足够好的显着性检测结果，特别是当显著对象在低对比度的背景与混乱的视觉外观中的时候。
ZhaoR等人[5]提出一个为显著性检测的多情景深度学习框架，该框架采用深度卷积神经网络在图像中去检测目标的显著性，全局背景和局部背景综合考虑，共同塑造一个统一的多背景深度学习框架。
为深度卷积神经网络提供更好的初始化，探究了不同的预训练策略和一个设计用多背景模型适应显著性检测的特殊任务预训练方案。
在五个公共数据集实验，结果表明不错。
整体多环境模型：
超像素中心的输入窗口的预测是通过估计显着性概率执行的。
score（xgc,xlc）=P（y=1|xgc,xlc;θ1）,
（1）
xgc,xlc分别是全局背景和局部背景模型倒数第二层的输出，y是中心超像素的显著性预测，
y=1时是显著性超像素，y=0时是背景。
训练了一个二元分类在最后一个网络层的顶部，为了分类背景和显著性，通过在分类结果和全局标签之间统一的函数的最小值。
L（θ;{x（i）gc,x（i）lc,y（i）}mi=1）
（2）
框架的参数可以分为几个部分。
θj={wgc,j,wlc,j,α,β} wgc，j是全局背景模型中神经网络的最后一层参数，
wlc,j是局部背景模型的最后一层参数，α,β是一个含糊不清的模型功能控制局部背景模型的需要的参数。
目的是推断标签的概率同时通过俩个组件。
2.3语音识别
隐马尔可夫模型（HMM）已经被国家认可的声学建模的最先进的技术，尽管他们不切实际的独立性假设和隐藏状态的非常有限的代表能力。
坚定信念网络（动态贝叶斯）被证明是对各种机器学习问题非常有效，MohamedA.R等人[6]在2011年采用动态Bayesian声学建模。
在标准TIMIT语料库，动态贝叶斯网在TIMIT核心试验等的电话实现了23.0％的错误率。
高斯混合模型是用于模拟隐马尔可夫模型的语音识别的发光分布的显性技术。
MohamedA.R[7]在2012年证明，在TIMIT数据集可以通过包含的特征和非常大量的参数，用很多层深神经网络代替高斯混合模型来实现更好的手机识别。
这些网络的第一预训练如光谱特征向量的窗的多层生成模型，而不利用任何区别信息。
一旦生成前培训设计的功能，使用反向传播小幅调整功能，在预测单音隐马尔可夫模型的状态的概率分布时进行微调，以使他们更好地进行判别。
（1）
（2）
（3）
（4）
（5）
（6）
（7）
DahlG.E.等人[8]在2012年提出了一种新的上下文相关（CD）模型，它采用深信念网络进行电话确认,对大词汇量语音识别（LVSR）。
该坚定信念网络训练前的算法是一个强大的和经常有用的方法来初始化深神经网络，可以帮助优化并降低泛化误差。
在一个具有挑战性的商业搜索数据实验显示，CD-DNN-HMM模型可以显著优于传统的语境依赖性高斯混合模型（GMM）-HMMs，精度提高5.8％和9.2％。
图2混合架构图
2.4图像识别
2009年，LishengXu等人[9]为了在脉诊用小样本自动区分脉冲模式，根据专家的中国传统脉诊知识脉冲图像进行分类的模糊神经网络的设计。
所设计的分类器可以使硬判定和软判定识别精度在90.25％，这比由反向传播神经网络所取得的结果有更好的识别精度。
2010年，R.Thilepa等人[10]将ART1神经网络算法用于识别彩色图像，从而加快了图像处理与识别进程的进程。
一般的自适应共振理论-1（ART-1）网络仅用于处理二进制数位，但是他们也将其用于图像识别。
给定的事实限制信息的丢失，两种不同颜色的其中一个原始图像内可表示为识别过程二进制颜色的相同的值。
方法具有吸引力是因为它的低计算开销和改进的性能，克服了具有较少数目的神经元的神经网络的一些问题。
Holota,Radek[11]在2012年，研究了利用神经网络对彩色图像识别的可能性。
提出了一种新的修改后单一层，适合在（色相饱和度值）HSV颜色空间，识别的最小/最大节点。
2.5模式识别
蛋白质是具有不同功能的关键生物分子。
以生产更多的数据（基因组学，蛋白质组学）更新的技术不是可以手动注释，预测其结构的硅片的方法和有它们的功能后，已被命名结构生物信息学的圣杯。
成功的二级结构预测提供了直接的三级结构建模的起点；此外，它提高了序列分析和序列结构的结构和功能测定结合。
使用机器学习和数据挖掘过程中，P.V.NageswaraRao等人[12]在2010年开发了基于统计了从组件氨基酸序列预测蛋白质二级结构模式识别技术。
通过应用这种技术，Q8的业绩得分达到了72.3％。
这与其他建立的技术当预测是在单个序列单独作出比较好，如NN-I和GORIV其中实现的Q3分值分别64.05％和63.19％。
CarrieriAH[13]在2008年将人工神经网络的系统建立用于在穆勒矩阵的形式可以通过偏振光散射签名模式识别检测氨基酸，糖，和其它固体有机物。
向后误差传播和自适应梯度下降的方法进行网络训练。
培训的产物是一个权重矩阵，当作为一个过滤器施加洞察分析物的其线索易感穆勒矩阵差元素的基础上的存在。
此滤波器功能可以被实现为软件或硬件模块，以将来差分吸收穆勒矩阵光谱仪。
训练对R中区分两个不相交集的径向基函数（RBF）神经网络问题（N），网络参数可通过最小化测量成功的在识别的训练模式的给定数量的程度的误差函数来确定。
LamparielloF, 和SciandroneM[14]在2008年考虑到分类问题，其中目标是获得该网络的输出采取高于或低于固定阈值的具体特征，提出了一种方法替代一个利用最小二乘的误差函数。
特别是，该问题在非线性不等式的系统，以及一个适当的误差函数，它仅取决于违反不等式的形式配制，结果表明，在模式识别RBF网络训练了该方法的有效性，主要是在节省计算时间方面。
2.6人机交互
2008年，PeterWentworth[15]提出手势点矢量化过程。
n（X，Y）输入序列坐标进行预处理到载体序列，然后将其传递到用于分类训练的神经网络。
相比原始（X，Y），使用的这个手势识别坐标性能提高。
也可以引入缩放以提高性能。
下表列出了代表一个手势点的矢量。
图3手势矢量化过程
手势识别是开发替代人机交互的重要方式。
它使人类以更自然的方式与机器的接口。
用于识别人的手势，有几种算法是可用的。
有使用MATLAB进行手势识别几种方法。
人工神经网络有在不断变化的环境的灵活性。
2011年，ShwetaK.Yewale等人[16]提出了人工神经网络的手势识别的概述。
它也描述了使用神经网络手势识别的方法。
人工神经网络适用于多变量非线性问题。
它有一个快速的计算能力。
神经网络的泛化的能力使他们的手势识别的自然。
图4手势识别系统
由于要达到简化计算机的使用和全面提升用户体验的目的，人机界面变得越来越复杂。
研究表明，大多数人机交互来自非语言通信，用户情绪检测是可以采取提升整体用户体验的一个方向。
M.Karthigayan等人[17]在2008年提出，通过施加边缘检测和用于确定最佳正确和不正确省略号遗传算法能精确描述的眼睛和嘴部的形状获得的面部区域信息的某些方法。
DamirFilko,和GoranMartinovic′[18]在2013年运用主成分分析和神经网络分析关键的面部区域提出了人类情感识别的系统。
所提出的系统已经被训练并在FEEDTUM数据库上进行测试，并取得了正确识别比较高的平均分，因此表现出对未来发展的诺言。
图5使用图片自动识别人的情感的系统
2.7优化算法
单数的非线性优化虽然在很多实际应用中经常遇到，但一直都是一个难题。
在过去的几十年中，经典的数字技术已被提出以处理单数的问题。
然而，由于数值不稳定和计算复杂度高的问题，一直没有找到满意的解决方案为止。
2013年，RendongGe[19]考虑有界变量的约束，而不是常见的无约束模型单优化问题，提出一种新的神经网络模型解决有界变量的凸优化问题。
在一个秩缺陷的假设，原本困难的问题是通过强制执行期限转化为非单数约束优化问题。
通过使用增广拉格朗日方法和投影技术，证明了所提出的连续模型可以解决单数的优化问题。
数值模拟进一步证实所提出的神经网络的方法的有效性。
图6所提出的神经网络模型的逻辑图
AlirezaHosseini[20]在2016年提出了一种基于包容差异的神经网络融合的方法解决非光滑优化问题。
对于一般的微分，证明了如果它的右手边集值映射满足一定的条件，那么，微分包含解轨迹收敛到最优解集的优化问题相应的应对措施。
基于所获得的方法论，介绍了求解非光滑优化问题的新递归神经网络。
目标函数并不需要对RN为凸起也没有新的神经网络模型，不需要任何惩罚参数。
此外对于微的情况下，实施了新的神经网络的电路图。
2016年，ŁukaszDrąg[21]提出利用人工神经网络，提出来控制有效载荷的位置的优化。
2.8深度学习
深度学习算法应用到遥感图像分类[22]、多媒体检索[23]、交通流预测[24]和盲图像质量评价[25]等领域，取得了较传统方法更优的效果。
纽约大学的YannLeCun、蒙特利尔大学的YoshuaBengio和斯坦福大学的AndrewNg等人分别在深度学习领域展开了研究，并提出了自编码器[26,27,28,29,30]、深度置信网[31,32,33,34,35]、卷积神经网络等深度模型[36,37,38,39,40]，在多个领域得到了应用。
图7自编码示意图
自编码器（Autoencoder）是一种无监督的特征学习网络，它利用反向传播算法，让目标输出值等于输入值，其结构如图7所示。
自编码器试图学习一个恒等函数，当隐藏层的数目小于输入层的数目时可以实现对信号的压缩表示，获得对输入数据有意义的特征表示。
通常隐层权值矩阵和输出层权值矩阵互为转置，这样大大减少了网络的参数个数。
当输入数据中包含噪声时，自编码器的性能将会受到影响。
为了使自编码器更加鲁棒，2008年YoshuaBengio等人提出了去噪自编码器（DenoisingAutoencoder）的概念，在输入数据进行映射之前先对其添加随机噪声，然后将加噪后的数据进行编码和解码操作，并希望解码出来的输出信号能够逼近原来的干净输入信号。
去噪自编码器的原理图如图8所示。
图8去噪声自编码器示意图
其中，x是原始信号，*x是加噪后的信号，h是编码后的信号，y是解码后的信号，d（x,y）是原始信号和解码后信号的差异，通常希望其越小越好。
通过在原始信号中加入一定量的随机噪声来模拟真实数据中存在的干扰，可以更加鲁棒地从数据中学习到有意义的特征。
如果将稀疏性引入到自编码器中还可以得到另一种被称为稀疏自编码器（SparseAutoencoder）的网络，这种网络限制每次获得的编码尽量稀疏，从而来模拟人脑中神经元刺激和抑制的规律。
同时，将若干个自编码器堆叠在一起可以形成栈式自编码器，这种深层网络能学习到输入信号的层次化表示，更有利于提取数据中所蕴含的抽象特征。
一个简单的栈式自编码器的结构如图9所示。
首先，将原始数据x输入到栈式自编码器中，通过第一层的编码得到原始数据的一阶特征表示1h，然后将此一阶特征作为下一个自编码器的输入，对其进行进一步的编码得到二阶特征2h，如此重复进行直到编码完毕。
编码后的各阶特征便构成了对原始数据的层次化描述，可以用于后续的分类和识别任务中。
在训练阶段，首先从第一层开始，按照单个自编码器的训练方式逐层训练网络参数，接着将最后一层的输出和期望输出的误差进行逐层反向传播，微调网络各层的参数。
图9栈式自编码器示意图
DeliangWang等人[41]使用深度神经网络估计语音的非负激活矩阵，用以从噪声中提取干净语音信息，并获得了比Masking和NMF方法更好的提取效果。
WanliOuyang等人[42]将行人检测问题中的特征提取、变形和遮挡处理以及分类四个模块统一于深度学习框架之下，通过各部分之间的协同来达到整体性能的提升，并在最大的行人检测数据库Caltech上，以9%的优势超越之前最好的方法。
类似地，在姿态估计问题上也将视觉表象得分、表象混合类型和变形三类信息结合起来，统一于多源深度模型之中，在三组基准数据集上较现有方法性能提高8.6%[43]。
NaiyanWang等人[44]通过离线的方式从自然图像中训练了用于描述待跟踪物体特征的堆栈去噪自编码器，在复杂场景中可以提取出更加通用的特征用于分类，并在一些具有挑战性的视频序列上获得了比经典方法更准确的跟踪精度和更低的时间开销。
YiSun等人[45]将卷积神经网络和受限玻尔兹曼机结合起来，组成了混合的深度神经网络用于人脸验证，在LFW数据集上获得了更优的验证性能。
在通用结构的设计上，YangqingJia等人[46]开发了深度卷积网络模型Caffe，可用于大规模工业应用领域，并且已被用作多个问题的求解方案。
JieZhang等人[47]提出了Coarse-to-fine的自编码网络CFAN用于人脸对准，首先用第一组堆栈自编码网络（StackedAuto-encoderNetworks,SANs）来快速预测脸部的特征点，之后用第二组堆栈自编码网络来对其修正，在三组数据集上CFAN都取得了实时且最优的性能。
在遥感领域，JunYue等人将卷积神经网络用于高光谱图像分类[48]、WeixunZhou等人将自编码器用于高分辨遥感影像的检索任务[49]，并获得了较为满意的分类和检索结果。
目前，深度网络的自动特征提取能力正受到自然、生物医学和遥感等多个领域的广泛关注，并且基于深度网络的方法在多个任务上都显示出了优越的性能，在未来将会有更加广阔的应用前景[51,52]。
3总结和展望
作为联接主义智能实现的典范，人工神经网络采用广泛互联的结构与有效的学习机制来模拟人脑智能信息处理的过程，是人工智能发展历程中的重要方法，也是类脑智能研究中的有效工具。
本文介绍了神经网络在近年发展状况。
未来基于神经网络的类脑智能的研究还有许多亟待解决的问题与挑战：
（1）认知神经网络
尽管深度神经网络在语音识别和图像/视频识别等任务中显示出很大的成功，现有的人工神经网络结构还远远不及生物神经网络结构复杂，仍然是对生物神经系统信息处理的初级模拟，这是制约神经网络智能化水平的一个重要瓶颈。
目前深层神经网络仅能完成一些简单的语音与视觉理解任务，在理论上还存在很多局限，训练网络的学习算法目前也十分有限。
另一方面，神经认知计算科学对视觉注意力、推理、抉择、学习等认知功能的研究方兴未艾。
如何从脑科学和神经认知科学寻找借鉴，从理论上发展出功能更加强大的类脑计算模型如认知神经网络，来解决人工智能面临的局限，将有可望实现更高层次的类脑智能。
（2）主动神经网络
生物个体在于环境接触过程中，智能水平会得到提高。
人脑可以在没有监督信息时主动地从周围环境中学习，实现对客观世界中物体的区分。
因此，如果要实现更加高级的智能行为，现有神经网络的发展需要突破利用神经元与网络结构的结构模拟思路，从结构模拟向功能模拟乃至行为模拟转换，借鉴人与环境之间的交互过程，主动且自动的完成增强学习，以摆脱对监督信息的依赖，在更严苛的环境下完成学习任务，这也是实现高级类脑智能的可能途径。
（3）感知-理解-决策神经网络
类脑智能行为可以大概归结为“感知”、“理解”与“决策”三个方面。
目前的神经网络模型的功能大都局限在对数据的理解层面，而事实上一个高级的智能机器应该具有环境感知与推理决策的功能。
如何发展具有环境感知、数据理解以及推理决策能力的网络模型，也是实现高级类脑智能的必然要求。
（4）复杂神经网络实现
机器计算能力的提高曾经将神经网络重新拉回大众关注的视野。
对于许多互联网公司来说，如何实现对海量大数据的快速高效训练是深层神经网络走向实用化的重要标志。
现有的Hadoop平台不适合迭代运算、SGD又不能依并行方式工作、而GPU在训练DNN时仍然显得比较吃力。
同时，平台
升级会员 