AlexNet介绍PPT资料.pptx
《AlexNet介绍PPT资料.pptx》由会员分享,可在线阅读,更多相关《AlexNet介绍PPT资料.pptx(32页珍藏版)》请在冰豆网上搜索。
速度快:
能够运行最棒的模型与海量的数据。
Cae与cuDNN结合使用,测试AlexNet模型,在K40上处理每张图片只需要1.17ms.模块化:
方便扩展到新的任务和设置上。
可以使用Cae提供的各层类型来定义自己的模型。
开放性:
公开的代码和参考模型用于再现。
社区好:
可以通过BSD-2参与开发与讨论。
Cae架构,AlexNetOverview,TrainedwithstochascgradientdescentontwoNVIDIAGTX5803GBGPUsforaboutaweek650,000neurons60,000,000parameters630,000,000conneconsFinalfeaturelayer:
4096-dimensional,Implementaon,TheonlythingthatneedstobestoredondiskistherawimagedataWestoreditinJPEGformat.Itcanbeloadedanddecodedenrelyinparallelwithtraining.Thereforeonly27GBofdiskstorageisneededtotrainthissystem.Usesabout2GBofRAMoneachGPU,andaround5GBofsystemmemoryduringtraining,ILSVRC2012(Task1),ILSVRC2012(Task2),ArchitectureImproving,1,采用ReLU来代替传统的tanh(orsigmoid)引入非线性,;
2,采用2块显卡来进行并行计算,减少了更多显卡需要host传递数据的时间消耗,在结构上,部分分布在不同显卡上面的前后层节点之间无连接,从而提高了训练速度;
3,同层相邻节点的响应进行局部归一化(lrnlayer)提高了识别率(top5错误率降低1.2%);
4,overlappingpooling(top5错误率降低0.3%);
1.ReLU激活函数,2.LRNlayer,3.OverlappingPooling,AlexNet,4.Dropout,ReLU(RecedLinearUnits)Nonlinearity,ReLU具备引导适度稀疏的能力,不需要pre-training,ReLU具备引导适度稀疏的能力,需要pre-trainingReLU不预训练和sigmoid预训练的效果差不多,甚至还更好。
相比之下,ReLU的速度非常快,而且精确度更高。
因此ReLU在深度网络中已逐渐取代sigmoid而成为主流。
TrainingonMulpleGPUs,Parallelizaonscheme:
putshalfofthekernels(orneurons)oneachGPU,theGPUscommunicateonlyincertainlayers.(forexample,thekernelsoflayer3takeinputfromallkernelmapsinlayer2)Thisschemereducesourtop-1andtop-5errorratesby1.7%and1.2%takingslightlylessme,LocalResponseNormalizaon,从这个公式中可以看出,原来的激活a被加一个归一化权重(分母部分)生成了新的激活b,相当于在同一个位置(x,y),不同的map上的激活进行了平滑Responsenormalizaonreducesourtop-1andtop-5errorratesby1.4%and1.2%,Overlappingpooling,Kernelsize:
3*3Stride:
2Thisschemereducesthetop-1andtop-5errorratesby0.4%and0.3%,ReducingOver-ng:
1,数据加强(dataaugmentaon):
对训练数据进行左右对称以及平移变换,将训练数据增加为原来的2048倍;
对像素进行PCA变换构造新样本(此机制使得top5错误率降低%1);
2,Dropout优化算法:
采用mini-batchSGD算法来优化,每个batch128个样本,主要降低训练时间StochescGradientDiscent随机梯度下降,在机器学习梯度下降章节中有,Dropout,Independentlyseteachhiddenunitacvitytozerowith0.5probabilityaveryecientversionofmodelcombinaon,AlexNetArchitecture,1.ReLU激活函数,2.LRNlayer,3.OverlappingPooling,AlexNet,4.Dropout,基本结构:
共有8层,其中前5层convoluonal,后边3层full-connected,最后的一个full-connected层的output是具有1000个输出的somax在第一层conv1和conv2之后直接跟的是Response-nomalizaonlayer,也就是norm1,norm2层在每一个conv层以及full-connected层后紧跟的操作是ReLU操作Maxpooling操作是紧跟在第一个norm1,norm2,以及第5个conv层,也就是conv5Dropout操作是在最后两个full-connected层,conv1:
AlexNet采用了96个11*11*3的kernel在stride为4的情况下对于224*224*3的图像进行了滤波。
(4个像素是recepveeld中心在kernelmap上的距离,这是个经验数据。
)得到基本的conv数据后,则进行一次ReLU(relu1)以及Norm(norm1)的变换后,然后进行pooling(pool1),作为输出传递到下一层。
Kernel:
(11*11*3)*96输入神经元个数:
224*224*3=150528输出神经元个数:
55*55*96=290400Mapsize:
224/4-1=55Mapsnum:
96Connecons:
(11*11*3+1)*96*(55*55)=105705600,Conv2:
第一个conv层(conv1)经过norm(norm1)以及pool(pool1)后,然后再apply256个5*5*48的卷积模板卷积后的结果。
(5*5*48)*256h_o=(h_i+2*pad_h-kernel_h)/stride_h+1,Conv3:
经过norm2和pooling2后,apply384个3*3*256的卷积模板得到的。
(3*3*256)*384group(g)default1:
Ifg1,werestricttheconnecvityofeachltertoasubsetoftheinput.Specically,theinputandoutputchannelsareseparatedintoggroups,andtheithoutputgroupchannelswillbeonlyconnectedtotheithinputgroupchannels.,Conv4:
是第三个conv层(conv3)进行一次ReLU(relu3)后,然后直接apply384个3*3*192的卷积模板得到的。
本层map数目为384个,size还是13*13.Kernel:
(3*3*192)*384,Conv5:
与第四个生成类似,只是对上层进行了一个ReLU(relu4)后生成的,不同之处在于此处apply的卷积模板为256个3*3*192的。
(3*3*192)*256,full-connected层(fc6)是上一个conv层(conv5)进行pooling(pool5)后的全连接。
Kernel:
(6*6*256)*4096,第二个full-connected层(fc7)是上一个full-connected(fc6)进行ReLU(relu6)后,然后进行dropout(drop6)后再进行全连接的结果,最后一个full-connetcted层(fc8)则是上一个full-connected层(fc7)再次进行ReLU(relu7)以及dropout(drop7)后再进行全连接的结果。
再经过somaxloss输出为label。
Validaonclassicaon,GoogLeNet,22layersdeepnetworks,GoogLeNet,Convoluon/FCConcatenaon,MaxPoolingSomax,GoogLeNet,ComparedtoAlexNet:
增加了网络深度去掉了全连接层(占参数约90%,同时带来Overng)AlexNet参数60M,GoogLeNet参数7MNetworkinNetwork:
mlpconvlayers,Reference,ImageNetClassicaonwithDeepConvoluonalNeuralNetworks(PaperandPPT)-AlexKrizhevsky,IlyaSutskever,GeoreyHinton,UniversityofTorontoDeeperDeepNetworks-SpencerCappalloGoingdeeperwithconvoluons-Google,