AlexNet介绍.pptx

1、,AlexNet Introduc on,涂正中12307130266,Cae-Convolu on Architecture For Feature Embedding(Extrac on),一个清晰而高效的深度学习框架Yangqing Jia(贾杨清，谷歌研究员)created the project during his PhD at UC Berkeleyh p:/cae.berkeleyvision.org/C+/CUDA架构，支持命令行、Python和MATLAB接口可以在CPU和GPU直接无缝切换,Why Cae？,上手快：模型与相应优化都是以文本形式而非代码形式 给出。Cae给

2、出了模型的定义、最优化设置以及预训练的权重，方便立即上手。速度快：能够运行最棒的模型与海量的数据。Cae与cuDNN结合使用，测试AlexNet模型，在K40上处 理每张图片只需要1.17ms.模块化：方便扩展到新的任务和设置上。可以使用Cae提供的各层类型来定义自己的模型。开放性：公开的代码和参考模型用于再现。社区好：可以通过BSD-2参与开发与讨论。,Cae架构,AlexNet Overview,Trained with stochas c gradient descent on two NVIDIA GTX 580 3GB GPUs for about a week650,000 neu

3、rons60,000,000 parameters630,000,000 connec onsFinal feature layer:4096-dimensional,Implementa on,The only thing that needs to be stored on disk is the raw image dataWe stored it in JPEG format.It can be loaded and decoded en rely in parallel with training.Therefore only 27GB of disk storage is need

4、ed to train this system.Uses about 2GB of RAM on each GPU,and around 5GB of system memory during training,ILSVRC2012(Task1),ILSVRC2012(Task2),Architecture Improving,1，采用ReLU来代替传统的tanh(or sigmoid)引入 非线性，；2，采用2块显卡来进行并行计算，减少了更多显 卡需要host传递数据的时间消耗，在结构上，部 分分布在不同显卡上面的前后层节点之间无连接，从而提高了训练速度；3，同层相邻节点的响应进行局部归一化

5、(lrn layer)提高了识别率（top5错误率降低1.2%）；4，overlapping pooling（top5错误率降低0.3%）；,1.ReLU激活函 数,2.LRN layer,3.Overlappi ng Pooling,AlexNet,4.Dropout,ReLU(Rec ed Linear Units)Nonlinearity,ReLU具备引导适度稀疏的能力,不需要pre-training，ReLU具备引导适 度稀疏的能力，需要pre-trainingReLU不预训练和sigmoid预训练的效果差不多，甚至还更好。相比之下，ReLU的速度非常快，而且精确度更高。因此ReLU在

6、深度网络中已逐渐取代sigmoid而成为主流。,Training on Mul ple GPUs,Paralleliza on scheme：puts half of the kernels(or neurons)on each GPU，the GPUs communicate only in certain layers.（for example,the kernels of layer 3 take input from all kernel maps in layer 2）This scheme reduces our top-1 and top-5 error rates by 1.7

7、%and 1.2%taking slightly less me,Local Response Normaliza on,从这个公式中可以看出，原来的激活a被加一个归一 化权重（分母部分）生成了新的激活b，相当于在同一 个位置（x，y），不同的map上的激活进行了平滑Response normaliza on reduces our top-1 and top-5 error rates by 1.4%and 1.2%,Overlapping pooling,Kernel size:3*3Stride:2This scheme reduces the top-1 and top-5 error

8、 rates by 0.4%and 0.3%,Reducing Over-ng：,1，数据加强（data augmenta on）：对训练数 据进行左右对称以及平移变换，将训练数据增加 为原来的2048倍；对像素进行PCA变换构造新样 本（此机制使得top5错误率降低%1）；2，Dropout优化算法：采用mini-batch SGD算法来优化，每个batch128个样本，主要降低训练时间Stoches c Gradient Discent随机梯度下降，在机 器学习梯度下降章节中有,Dropout,Independently set each hidden unit ac vity to ze

9、ro with 0.5 probabilitya very ecient version of model combina on,AlexNet Architecture,1.ReLU激活函 数,2.LRN layer,3.Overlappi ng Pooling,AlexNet,4.Dropout,基本结构：,共有8层，其中前5层convolu onal，后边3层full-connected，最后 的一个full-connected层的output是具有1000个输出的so max在第一层conv1和conv2之后直接跟的是Response-nomaliza on layer，也就是norm

10、1，norm2层在每一个conv层以及full-connected层后紧跟的操作是ReLU操作Max pooling操作是紧跟在第一个norm1，norm2，以及第5个conv层，也就是conv5Dropout操作是在最后两个full-connected层,conv1：AlexNet采用了96个11*11*3的kernel在stride为4的情况下对于 224*224*3的图像进行了滤波。（4个像素是recep ve eld中心在kernel map 上的距离，这是个经验数据。）得到基本的conv数据后，则进行一次ReLU（relu1）以及Norm（norm1）的变换后，然后进行pooling

11、（pool1），作为 输出传递到下一层。Kernel：（11*11*3）*96输入神经元个数：224*224*3=150528输出神经元个数：55*55*96=290400Map size：224/4-1=55Maps num：96Connec ons：（11*11*3+1）*96*（55*55）=105705600,Conv2：第一个conv层(conv1)经过norm(norm1)以及pool(pool1)后，然后再 apply 256个5*5*48的卷积模板卷积后的结果。Kernel：（5*5*48）*256h_o=(h_i+2*pad_h-kernel_h)/stride_h+1,Co

12、nv3：经过norm2和pooling2后，apply 384个3*3*256的卷积模板得到的。Kernel：（3*3*256）*384group(g)default 1:If g 1,we restrict the connec vity of each lter to a subset of the input.Specically,the input and output channels are separated into g groups,and the ith output group channels will be only connected to the ith inpu

13、t group channels.,Conv4：是第三个conv层(conv3)进行一次ReLU(relu3)后，然后直接 apply 384个3*3*192的卷积模板得到的。本层map数目为384个，size还是13*13.Kernel：（3*3*192）*384,Conv5：与第四个生成类似，只是对上层进行了一个ReLU(relu4)后生 成的，不同之处在于此处apply的卷积模板为256个3*3*192的。Kernel：(3*3*192)*256,full-connected层(fc6)是上一个conv层(conv5)进行 pooling(pool5)后的全连接。Kernel:（6*6*

14、256）*4096,第二个full-connected层(fc7)是上一个full-connected(fc6)进 行ReLU(relu6)后，然后进行dropout(drop6)后再进行全连 接的结果,最后一个full-connetcted层(fc8)则是上一个full-connected 层(fc7)再次进行ReLU(relu7)以及dropout(drop7)后再进行 全连接的结果。再经过so max loss输出为label。,Valida on classica on,GoogLeNet,22 layers deep networks,GoogLeNet,Convolu on/FCC

15、oncatena on,Max Pooling So max,GoogLeNet,Compared to AlexNet:增加了网络深度去掉了全连接层（占参数约90%，同时带来Over ng）AlexNet参数60M，GoogLeNet参数7MNetwork in Network：mlpconv layers,Reference,ImageNet Classica on with Deep Convolu onal Neural Networks(Paper and PPT)-Alex Krizhevsky,Ilya Sutskever,Georey Hinton,University of TorontoDeeper Deep Networks-Spencer Cappallo Going deeper with convolu ons-Google,