AlexNet介绍.pptx

AlexNet介绍.pptx

《AlexNet介绍.pptx》由会员分享，可在线阅读，更多相关《AlexNet介绍.pptx（32页珍藏版）》请在冰豆网上搜索。

,AlexNetIntroducon,涂正中12307130266,Cae-ConvoluonArchitectureForFeatureEmbedding（Extracon）,一个清晰而高效的深度学习框架YangqingJia（贾杨清，谷歌研究员）createdtheprojectduringhisPhDatUCBerkeleyhp:

/cae.berkeleyvision.org/C+/CUDA架构，支持命令行、Python和MATLAB接口可以在CPU和GPU直接无缝切换,WhyCae？

上手快：

模型与相应优化都是以文本形式而非代码形式给出。

Cae给出了模型的定义、最优化设置以及预训练的权重，方便立即上手。

速度快：

能够运行最棒的模型与海量的数据。

Cae与cuDNN结合使用，测试AlexNet模型，在K40上处理每张图片只需要1.17ms.模块化：

方便扩展到新的任务和设置上。

可以使用Cae提供的各层类型来定义自己的模型。

开放性：

公开的代码和参考模型用于再现。

社区好：

可以通过BSD-2参与开发与讨论。

Cae架构,AlexNetOverview,TrainedwithstochascgradientdescentontwoNVIDIAGTX5803GBGPUsforaboutaweek650,000neurons60,000,000parameters630,000,000conneconsFinalfeaturelayer:

4096-dimensional,Implementaon,TheonlythingthatneedstobestoredondiskistherawimagedataWestoreditinJPEGformat.Itcanbeloadedanddecodedenrelyinparallelwithtraining.Thereforeonly27GBofdiskstorageisneededtotrainthissystem.Usesabout2GBofRAMoneachGPU,andaround5GBofsystemmemoryduringtraining,ILSVRC2012（Task1）,ILSVRC2012（Task2）,ArchitectureImproving,1，采用ReLU来代替传统的tanh（orsigmoid）引入非线性，；2，采用2块显卡来进行并行计算，减少了更多显卡需要host传递数据的时间消耗，在结构上，部分分布在不同显卡上面的前后层节点之间无连接，从而提高了训练速度；3，同层相邻节点的响应进行局部归一化（lrnlayer）提高了识别率（top5错误率降低1.2%）；4，overlappingpooling（top5错误率降低0.3%）；,1.ReLU激活函数,2.LRNlayer,3.OverlappingPooling,AlexNet,4.Dropout,ReLU（RecedLinearUnits）Nonlinearity,ReLU具备引导适度稀疏的能力,不需要pre-training，ReLU具备引导适度稀疏的能力，需要pre-trainingReLU不预训练和sigmoid预训练的效果差不多，甚至还更好。

相比之下，ReLU的速度非常快，而且精确度更高。

因此ReLU在深度网络中已逐渐取代sigmoid而成为主流。

TrainingonMulpleGPUs,Parallelizaonscheme：

putshalfofthekernels（orneurons）oneachGPU，theGPUscommunicateonlyincertainlayers.（forexample,thekernelsoflayer3takeinputfromallkernelmapsinlayer2）Thisschemereducesourtop-1andtop-5errorratesby1.7%and1.2%takingslightlylessme,LocalResponseNormalizaon,从这个公式中可以看出，原来的激活a被加一个归一化权重（分母部分）生成了新的激活b，相当于在同一个位置（x，y），不同的map上的激活进行了平滑Responsenormalizaonreducesourtop-1andtop-5errorratesby1.4%and1.2%,Overlappingpooling,Kernelsize:

3*3Stride:

2Thisschemereducesthetop-1andtop-5errorratesby0.4%and0.3%,ReducingOver-ng：

1，数据加强（dataaugmentaon）：

对训练数据进行左右对称以及平移变换，将训练数据增加为原来的2048倍；对像素进行PCA变换构造新样本（此机制使得top5错误率降低%1）；2，Dropout优化算法：

采用mini-batchSGD算法来优化，每个batch128个样本，主要降低训练时间StochescGradientDiscent随机梯度下降，在机器学习梯度下降章节中有,Dropout,Independentlyseteachhiddenunitacvitytozerowith0.5probabilityaveryecientversionofmodelcombinaon,AlexNetArchitecture,1.ReLU激活函数,2.LRNlayer,3.OverlappingPooling,AlexNet,4.Dropout,基本结构：

共有8层，其中前5层convoluonal，后边3层full-connected，最后的一个full-connected层的output是具有1000个输出的somax在第一层conv1和conv2之后直接跟的是Response-nomalizaonlayer，也就是norm1，norm2层在每一个conv层以及full-connected层后紧跟的操作是ReLU操作Maxpooling操作是紧跟在第一个norm1，norm2，以及第5个conv层，也就是conv5Dropout操作是在最后两个full-connected层,conv1：

AlexNet采用了96个11*11*3的kernel在stride为4的情况下对于224*224*3的图像进行了滤波。

（4个像素是recepveeld中心在kernelmap上的距离，这是个经验数据。

）得到基本的conv数据后，则进行一次ReLU（relu1）以及Norm（norm1）的变换后，然后进行pooling（pool1），作为输出传递到下一层。

Kernel：

（11*11*3）*96输入神经元个数：

224*224*3=150528输出神经元个数：

55*55*96=290400Mapsize：

224/4-1=55Mapsnum：

96Connecons：

（11*11*3+1）*96*（55*55）=105705600,Conv2：

第一个conv层（conv1）经过norm（norm1）以及pool（pool1）后，然后再apply256个5*5*48的卷积模板卷积后的结果。

Kernel：

（5*5*48）*256h_o=（h_i+2*pad_h-kernel_h）/stride_h+1,Conv3：

经过norm2和pooling2后，apply384个3*3*256的卷积模板得到的。

Kernel：

（3*3*256）*384group（g）default1:

Ifg1,werestricttheconnecvityofeachltertoasubsetoftheinput.Specically,theinputandoutputchannelsareseparatedintoggroups,andtheithoutputgroupchannelswillbeonlyconnectedtotheithinputgroupchannels.,Conv4：

是第三个conv层（conv3）进行一次ReLU（relu3）后，然后直接apply384个3*3*192的卷积模板得到的。

本层map数目为384个，size还是13*13.Kernel：

（3*3*192）*384,Conv5：

与第四个生成类似，只是对上层进行了一个ReLU（relu4）后生成的，不同之处在于此处apply的卷积模板为256个3*3*192的。

Kernel：

（3*3*192）*256,full-connected层（fc6）是上一个conv层（conv5）进行pooling（pool5）后的全连接。

Kernel:

（6*6*256）*4096,第二个full-connected层（fc7）是上一个full-connected（fc6）进行ReLU（relu6）后，然后进行dropout（drop6）后再进行全连接的结果,最后一个full-connetcted层（fc8）则是上一个full-connected层（fc7）再次进行ReLU（relu7）以及dropout（drop7）后再进行全连接的结果。

再经过somaxloss输出为label。

Validaonclassicaon,GoogLeNet,22layersdeepnetworks,GoogLeNet,Convoluon/FCConcatenaon,MaxPoolingSomax,GoogLeNet,ComparedtoAlexNet:

增加了网络深度去掉了全连接层（占参数约90%，同时带来Overng）AlexNet参数60M，GoogLeNet参数7MNetworkinNetwork：

mlpconvlayers,Reference,ImageNetClassicaonwithDeepConvoluonalNeuralNetworks（PaperandPPT）-AlexKrizhevsky,IlyaSutskever,GeoreyHinton,UniversityofTorontoDeeperDeepNetworks-SpencerCappalloGoingdeeperwithconvoluons-Google,