卷积神经网络及其应用.pdf

卷积神经网络及其应用.pdf

《卷积神经网络及其应用.pdf》由会员分享，可在线阅读，更多相关《卷积神经网络及其应用.pdf（34页珍藏版）》请在冰豆网上搜索。

专业学位硕士学位论文卷积神经网络及其应用ConVolutionalNeuralNetworkandItsApplications作者学科、学指导完成姓名：

专业：

号：

教师：

蒸圭励垫拯日期：

2014年4月21日大连理工大学DalianUniversityofTechnology大连理工大学学位论文独创性声明作者郑重声明：

所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。

尽我所知，除文中已经注明引用内容和致谢的地方外，本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请学位或其他用途使用过的成果。

与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。

若有不实之处，本人愿意承担相关法律责任。

学位论文题目：

鲞塑益经圆鳖区基廑压作者签名：

客2醯日期：

趁I蚌厶月j二日大连理工大学专业学位硕士学位论文摘要卷积神经网络（ConvolutionalNeuralNetwork，是一种学习效率非常高的神经网络，本文详细介绍其模型原理及其在图像分类与大规模连续语音识别中的应用。

CNN将特征抽取与分类过程相结合进行神经网络的训练，在图像分类领域获得了巨大成功。

本文的实验部分使用CNN模型进行MNIST手写体数字识别，正确率明显优于传统方法。

从2010年开始，深度神经网络（DeepNeuralNetwork，On）使语音识别词错误率降低了20一30，是该领域的巨大突破。

近年来学术研究表明，CNN可以获得比DNN更多的性能提升。

本文的实验表明，CNN-HMM混合模型相对DNNHMM混合模型可以继续降低词错误率。

CNN、DNN通过优化方法学习参数的过程含有大量的矩阵运算。

在大规模图像分类与语音识别中，这一过程将变得非常缓慢。

使用NVIDIAGPU来加速矩阵运算，可以获得相对予CPU几十倍、上百倍的性能提升。

为了克服过拟合问题，本文还探索了线性校正单元（RectifiedLinearUnitsReLU）和Dropout等新技术。

图像分类的实验表明ReLU、Dropout可以提高CNN的泛化能力。

关键词：

卷积神经网络；图像分类；语音识别；ReLU：

Dropout卷积神经网络及其应用TheConvolutionalNeuralNetworkandItsApplicationsAbstractConvolutionalNeuralNetwork（CNN）isallefficientlearningneuralnetwork111ispaperprovidesdetailedanalysisaboutitsbasictheoryandapplicationsinimageclassificationandlarge-scalecontinuousspeechrecognitionCNNcombinesfeatureextractionandclassificationprocessforneuralnetworktrainingandgetssignificantsuccessinthefieldofimageclassificationInexperimentalsectionofthispaper，MNISThandwrittendigitrecognitionusingCNNmodelgetsbetterresultthantraditionalmethodsSince2010，DeepNeuralNetwork（DNN）makesspeechrecognitionworderrorratereduce20一30，whichisagreatbreakthroughinthefieldInrecentyears，AcademicresearchsuggeststhatCNNCangainmoreperformanceimprovementthanDNN劢eexperimentalresultsshowthatCNNHMMhybridmodelCancontinuetoreducingtheworderrorrate，comparedtoDNN-HMMhybridmodelTheoptimizationprocessofCNNandDNNcontainsalotofmatrixoperationsInlarge-scaleimageclassificationandspeechrecognition，theprocesswillbeveryslowUsingtheNVIDIAGPUtospeedupthemarxoperationscangetdozensorevenhundredtimesfasterthanCPUInordertOovercomethefittingproblem，thispaperalsoexploresnewmethodsliketheRectifiedLinearUnits（ReLU）andDropout111eexperimentsonimageclassificationindicateReIjUandDropoutCanimprovethegeneralizationabilityofCNNKeyWords：

CNN；ImageClassification；SpeechRecognition；ReLU；Dropout大连理工大学专业学位硕士学位论文目录摘要IAbstract，。

，。

1Il绪论111深度神经网络2l一文章结构22人工神经网络321神经元322前向传播323反向传播524Softmax回归93卷积神经网络1031卷积（Convolution）一1032池化（Pooling）1l33卷积神经网络的结构1234卷积神经网络的前向传播与反向传播13341前向传播一13342反向传播一144神经网络的优化1541梯度下降1542损失函数154，3线性校正单元与Dropout1644CUDA编程175实验设计1851图像分类185，11MNIST18512CIFAR10一1952语音识别20521863语料库2l522androidmobile语音2253GPU与CPU性能对比22结论23卷积神经网络及其应用参考文献24攻读硕士学位期间发表学术论文情况一26致谢。

27大连理工大学学位论文版权使用授权书一28大连理工大学专业学位硕士学位论文1绪论人工神经网络（ArtificialNeuralNetworks，KN-N）起源于上世纪40年代，是一种模仿生物神经网络的结构和功能的数学模型。

它从结构、实现机理和功能上模拟生物神经网络，常用来对输入和输出间复杂的关系进行建模。

1958年Rosenblatt提出了感知机（perceptron），它可以被视为一种简单形式的前馈式人工神经网络，是一种二元线性分类器。

1969年Minsky和Papert261指出：

“单层感知机不能实现XOR功能；计算机能力有限，很难处理神经网络所需要的长时间参数优化过程”【z】。

他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。

如果把单层感知机堆成多层（称为multilayerperceptron，MLP，如图11所示），是可以求解线性不可分问题的，但当时缺乏有效的算法。

1974年哈佛大学的PaulWerbos提出了比较有效的BP算法【3】（本质上是求解无约束优化问题的梯度下降法），1986年多伦多大学的GeoffHinton等人重新发现这一算法【4】，人工神经网络再次受到重视。

Layer1ttaye|12图11多层感知机Fig11MultilayerPereeptronBP算法在神经网络的层数增多时容易陷入局部最优的困境，也很容易产生过拟合的问题。

20世纪90年代，各种各样的浅层机器学习模型相继被提出，如支撑向量机（SuppoaVectorMachines，SVM）、Boosting、最大熵方法（如LogisticRegression，LR）等。

这些模型具有高效的学习算法，且不存在局部最优的问题，在理论分析与实际应用中都