专业硕士开题报告.docx

专业硕士开题报告.docx

《专业硕士开题报告.docx》由会员分享，可在线阅读，更多相关《专业硕士开题报告.docx（10页珍藏版）》请在冰豆网上搜索。

专业硕士开题报告

研究生学位毕业论文开题报告

题目名称：

基于轻量级卷积神经网络的雾霾环境下的交通标志识别

姓名：

学号：

学科名称：

研究方向：

学院：

导师姓名：

导师职称：

填表时间2019年12月20日

填表说明

1．开题报告是研究生培养的重要环节，研究生需认真完成。

2．完成时间：

研究生的开题报告应于第三学期末前完成

3．打印要求：

此表用A4纸双面打印。

4．此表与中期考核审核表、成绩单、实践报告、学术活动列表等材料一起交于学院，参加中期考核

一、课题来源，国内外研究现状、水平及发展趋势，选题的研究意义、目的，参考文献

（一）课题来源

近年来，人工智能得到了快速发展。

无论是国内的XX还是国外的美国硅谷科技公司Uber等等科技巨头都在研究和发展无人驾驶技术。

无人驾驶技术的其中关键一环就是基于深度学习的道路交通标志识别。

通常，我们的识别系统是在天气良好的条件进行的，易受遮挡、光照不均和雾霾等恶劣条件影响而导致系统性能急剧下降，这给系统识别带来了巨大的挑战。

由于在雾霾天气下行车，能见度低，物体显示模糊，图像成像质量显著下降，因此，不仅会对图像采集设备造成不小的干扰，而且会因为采集到图像关键信息大量缺失而导致当前系统无法准确有效识别和及时判断当前路况信息[1]。

可见雾霾环境下系统及时精确识别有很大挑战，但这样的条件下进行图像识别更适用于实际，更需要投入研究与完善。

因此如何提升去雾效果，提升图像识别准确率还有很大进步空间，也是近几年研究者们的研究热点。

（二）国内外研究现状、水平及发展趋势

基于图像增强的去雾方法，例如直方图均衡等，是从图像处理的角度来达到去雾目的，本质上并没有真正去雾，总的原则是降低亮度、提高饱和度，改善人眼的视觉效果。

这种方法无法估计雾气的浓度，只能在一定程度上去雾，有可能欠去雾也有可能过去雾。

基于大气退化模型的传统去雾算法有很多，最具有代表性的就是He[2]统计了大量的无雾图像得出暗通道先验规律，即每一幅图像的RGB三个颜色通道中，总有一个通道的灰度值很低，几乎趋向于0，提出了的暗通道先验算法。

基于暗通道先验去雾算法是单幅图像去雾研究领域的重大突破。

该方法虽然能够快速而有效地去雾，但是暗通道先验仍然存在许多缺陷：

利用近似公式做计算，导致透射率估值偏小；大气光计算不够鲁棒；一些区域并不适用于暗通道先验，如天空、白色物体，应用暗通道先验容易出现色偏问题。

近年来，基于深度学习方法的去雾算法应用越来越广泛，因为深度学习有着强大的特征提取、自我学习的能力。

Cai等[3]提出了DehazeNet通过卷积神经网络来学习有雾图和图像传输率之间的关系，从而预测出带雾图像的介质传输图。

Ren等[4]提出MSCNN通过多尺度卷积神经网络生成粗略场景透射率，并采用多尺度融合完成图像去雾。

以往常用的方法是通过神经网络求出介质传输图，再通过人工经验求出大气光值，这两者都是有误差的，结合在一起导致误差更大。

因此，AODNet[5]将大气散射模型中的未知量简化为一个系数K，通过CNN学习有雾图和K之间的关系，提高了去雾鲁棒性。

文献[6]提出的MSDN通过两个端到端的多尺度全卷积神经网络然后将浅层特征和深层特征进行跳跃连接融合，实现图像去雾。

以往的方法侧重于对传输图的估计，忽略了对大气散射的准确估计，文献[7]提出了一种边缘保留金字塔密集连接的编码器-解码器网络，用于精确估计传输映射；采用U-net来估计图像的大气光。

为了去除图像恢复中产生的光晕效应，作者提出了多尺度门限融合网络，可以有效增加网络感受野并减少光晕效应[8]。

基于CNN的去雾需要训练集是成对的，即同时有有雾图像与无雾图像，而一个有效的去雾模型应该能够学习无雾图像到有雾图像的映射，无需使用成对监督，因此采用不成对的图像来训练新的网络也取得不错的效果[9-10]。

文献[11]不依赖于先验，提出端到端的去雾网络，采用平滑的空洞卷积代替传统的空洞卷积，解决了空洞卷积导致的网格伪影问题，利用门控融合子网融合高低层特征，提升复原效果。

该算法在峰值信噪比PSNR和结构相似性SSIM的指标上，有了极大的提升。

通过卷积神经网络实现端到端的图像去雾，虽然取得了不错的去雾效果，但是抛弃了基于物理模型的去雾思路，完全依赖神经网络进行处理导致算法拟合较慢，对训练集依赖程度较大，泛化能力较差。

目前去雾算法在实际应用方面还存在诸多问题，例如：

使用场景有限、算法速度慢、效果评判难等。

目前常用的训练集都是以无雾图为基础合成雾图，合成雾图只能反映部分场景下的真实雾图的部分特性，这制约着基于深度学习去雾算法的应用场景。

在实际应用中，无论是图像还是视频去雾都要满足适用于多种场景、实时性与稳定性，这成为各大学者们的研究热点，也是去雾算法的发展趋势。

图像去雾通常被称为低级视觉任务，在实际应用中通常作为高级视觉任务的预处理步骤[12]。

图像去雾效果的好坏还可以进一步通过高级视觉任务来做出判断。

深度学习在计算机视觉领域的高级视觉任务包括分类、检测、分割等。

目前，CNN以及其他神经网络正在飞速发展与应用，为了追求高准确率，网络模型的深度和复杂度越来越大。

然而在某些真实的应用场景如移动或者嵌入式设备上，如此大而复杂的模型难以应用。

首先，模型过于庞大，面临着内存不足的问题；其次，一些场景要求低延迟或者说响应速度要快。

因此，研究小而高效的CNN模型至关重要。

目前针对此类问题的研究，主要集中在两个方面：

1、对训练好的模型进行压缩得到小的模型。

2、直接设计小的模型。

对模型直接压缩的方法有深度压缩、二值化网络和三值化网络等。

深度压缩由剪枝、量化和哈夫曼编码三个部分构成，如果将权值使用哈夫曼编码进行编码，解码的代价其实是非常大的，尤其是时间代价。

二值化网络和三值化网络对权值进行量化，会造成一定的精度损失。

并且基于直接压缩的方法，是在他人设计的网络模型上进行的，并不参与网络的设计。

总的来说，都是在保持模型的性能的前提下，降低模型大小，提升模型速度。

目前，轻量化卷积神经网络趋势是直接设计小的模型。

例如：

谷歌大脑提出MobileNet[13]，用深度可分离卷积代替标准卷积，大大减少了参数，只付出了精度略有下降一两个百分点的代价。

MobileNet计算消耗小、运行速度快，很适合将其应用于手机等硬件性能低的终端设备。

例如：

文献[14]提出了基于MobileNet的移动端城管案件目标识别算法，将其应用在IOS移动端设备上，为城管人员加速案件分类与处理提供技术支持，减少了监控死角,增加了执法的多样性。

为了解决分组信息闭塞、交流不顺畅的问题，zhangx等提出了ShuffleNet[15]，引入打乱通道的操作来增加分组之间的信息交换，通道打乱解决了分组卷积叠加形成的边界效应，达到了减少计算量和提高准确率的效果。

2019年，谷歌提出应用混合深度分离卷积的MixNet[16]，解决了单个卷积核感受野小，参数少，但准确率不高的问题，将多个尺度卷积核混合提高效率和准确率。

使用混合深度分离卷积的系列MixNet比目前所有的轻量级神经网络的效果都要好，在ImageNet上Top1比MobileNetV2[17]高4.2%，比ShuffleNetV2[18]高3.5%等等。

来自熊本大学的RezaFuadRachmadi等研究者提出了轻量级SP-CNN系统[19]，该系统是基于五个现有的先进神经网络Resnet集成的。

其主要思想是保留图像完整以及将输入图像沿中心分割成四等分，分别输入到五个相同的Resnet进行识别，再将每个Resnet提取到的特征级联在一起，最后通过全连接层分类输出。

集成的SP-CNN网络的模型参数只有3.8M，识别准确率达到了99.75%，远高于人类的98.84%平均识别水平[20]，这是目前达到的最高识别准确率。

虽然使用集成学习的方法能够取得最高准确率，但是对硬件要求程度高，调参比较困难，训练比较耗时。

因此，利用深度学习算法实现端到端的快速去雾，并在高级视觉任务中利用轻量级神经网络对交通标志进行识别，降低参数，加快算法运行速度，同时保证图像识别准确率或者在此基础上加以提升。

基于此，本课题基于轻量级卷积神经网络的雾霾环境下交通标志识别还是非常具有挑战性。

（三）选题的研究意义与目的

随着我国的经济快速发展，居民的汽车保有量日益增多，交通安全也显得尤为重要。

经济快速发展带来的环境弊端，雾霾天气并不少见。

据统计，因雾霾造成能见度降低，引发的交通事故占高速公路事故总量的比例超过20%[21]。

雾霾天气对监控、摄影、计算机视觉系统等有不可忽视的影响。

随着计算机硬件的不断进步和深度学习的发展，计算机视觉技术已广泛地应用于生产制造、智能安检，而计算机视觉技术的有效性很依赖于清晰的输入，因此雾霾对很多计算机视觉系统也会造成严重的影响[22-23]。

从科学角度解读雾霾产生的原理，雾霾中的微小颗粒与小水滴会导致环境中的光线发生散射现象，导致视线范围减小，物体显示模糊，图像的成像质量下降，对比度减小，因此，不仅会对智能交通系统的图像采集设备造成干扰，也会因为采集到的图片丢失大量重要信息而导致系统无法准确有效的识别和判断当前的路况信息。

由于大气环境恶化，雾霾频发，研究人员对“智能交通系统（IntelligentTransportationSystem，简称ITS）”展开各项研究工作[24]。

ITS是计算机科学、交通工程和机械工程等多个领域的研究热点之一[19]。

ITS的应用可以有效缓解交通拥堵、大大减少交通事故的发生，为我们的工作生活增添便利。

而道路交通标志识别（TrafficSignRecognition）作为ITS的重要研究领域，道路交通标志的主要作用是疏导交通、提高通行效率和通过交通标志的指示和警告等引导作用减少安全事故的发生。

准确及时地获取交通标志的信息可以有效保证车辆和行人的通行效率和安全性。

近年来，国内雾霾天气频发，加上交通标志图像的背景千差万别，导致有雾交通标志识别成为计算机视觉处理技术领域和智能交通的一大重难点。

因此，通过基于深度学习的图像去雾技术对含雾交通标志进行快速去雾，有效降低雾霾天气对成像造成的图像模糊、失真，质量显著下降等影响，尽可能提高交通标志的识别准确率，以及使用轻量级卷积神经网络方法来对交通标志进行智能识别具有重要的研究价值和现实意义。

结合图像识别研究方法的研究现状，本课题分为快速去雾和轻量级神经网络识别两个部分进行研究。

主要有以下几方面的目的：

1．减少运算。

卷积神经网络使用了权值共享的概念，卷积核内的参数被整张图共享，而不会因为图像内位置的不同而改变卷积核内的权系数，因此大大减少了训练的参数，从而减少了训练花费的时间。

2.模型量化。

在保证准确率的前提下，使用混合深度可分离卷积等轻量化方法，大幅度降低参数，减少计算，加快网络运行速度，以便在移动终端或嵌入式设备上使用。

3.增强特征提取能力。

相对于的short-cut等传统融合方法，借鉴HRNet的保持高分辨率特征融合的思想，应用门控融合子网等方法融合高低层的多尺度信息，并引入注意力机制，能获得更好的去雾和识别效果，提升图像识别准确率。

（四）参考文献

[1]LongJ,ShiZ,TangW,etal.Singleremotesensingimagedehazing[J].IEEEGeoscienceandRemoteSensingLetters,2013,11

（1）:

59-63.

[2]HeK,SunJ,TangX.Singleimagehazeremovalusingdarkchannelprior[J].IEEEtransactionsonpatternanalysisandmachineintelligence,2010,33（12）:

2341-2353.

[3]CaiB,XuX,JiaK,etal.Dehazenet:

Anend-to-endsystemforsingleimagehazeremoval[J].IEEETransactionsonImageProcessing,2016,25（11）:

5187-5198.

[4]RenW,LiuS,ZhangH,etal.Singleimagedehazingviamulti-scaleconvolutionalneuralnetworks[C]//Europeanconferenceoncomputervision.Springer,Cham,2016:

154-169.

[5]LiB,PengX,WangZ,etal.Aod-net:

All-in-onedehazingnetwork[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision.2017:

4770-4778.

[6]陈永,郭红光,艾亚鹏.基于多尺度卷积神经网络的单幅图像去雾方法[J].光学学报,2019,39（10）:

149-158.

[7]ZhangH,PatelVM.Denselyconnectedpyramiddehazingnetwork[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2018:

3194-3203.

[8]RenW,MaL,ZhangJ,etal.Gatedfusionnetworkforsingleimagedehazing[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2018:

3253-3261.

[9]YangX,XuZ,LuoJ.Towardsperceptualimagedehazingbyphysics-baseddisentanglementandadversarialtraining[C]//Thirty-secondAAAIconferenceonartificialintelligence.2018.

[10]EnginD,GençA,KemalEkenelH.Cycle-dehaze:

Enhancedcycleganforsingleimagedehazing[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognitionWorkshops.2018:

825-833.

[11]ChenD,HeM,FanQ,etal.Gatedcontextaggregationnetworkforimagedehazingandderaining[C]//2019IEEEWinterConferenceonApplicationsofComputerVision（WACV）.IEEE,2019:

1375-1383.

[12]寇大磊,权冀川,张仲伟.基于深度学习的目标检测框架进展研究[J].计算机工程与应用,2019,55（11）:

25-34.

[13]HowardAG,ZhuM,ChenB,etal.Mobilenets:

Efficientconvolutionalneuralnetworksformobilevisionapplications[J].arXivpreprintarXiv:

1704.04861,2017.

[14]杨辉华,张天宇,李灵巧,潘细朋.基于MobileNet的移动端城管案件目标识别算法[J].计算机应用,2019,39（08）:

2475-2479.

[15]ZhangX,ZhouX,LinM,etal.Shufflenet:

Anextremelyefficientconvolutionalneuralnetworkformobiledevices[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2018:

6848-6856.

[16]TanM,LeQV.Mixnet:

Mixeddepthwiseconvolutionalkernels[J].arXivpreprintarXiv:

1907.09595,2019.

[17]SandlerM,HowardA,ZhuM,etal.Mobilenetv2:

Invertedresidualsandlinearbottlenecks[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2018:

4510-4520.

[18]MaN,ZhangX,ZhengHT,etal.Shufflenetv2:

Practicalguidelinesforefficientcnnarchitecturedesign[C]//ProceedingsoftheEuropeanConferenceonComputerVision（ECCV）.2018:

116-131.

[19]RachmadiRF,KoutakiG,OgataK.LightweightSpatialPyramidConvolutionalNeuralNetworkforTrafficSignClassification[C]//2018IndonesianAssociationforPatternRecognitionInternationalConference（INAPR）.IEEE,2018:

23-28.

[20]StallkampJ,SchlipsingM,SalmenJ,etal.Manvs.computer:

Benchmarkingmachinelearningalgorithmsfortrafficsignrecognition[J].Neuralnetworks,2012,32:

323-332.

[21]杨鑫宇.雾对高速公路行车的影响及对策研究[D].长安大学,2014.

[22]周峤.雾霾损失和协同防治政策研究[D].中国科学技术大学,2017.

[23]付保荣.从雾霾天气谈我国环境监测社会化与能力建设[J].环境保护与循环经济,2013,33（04）:

62-66.

[24]李传秀,尼加提.雾霾天气下交通标志识别方法研究[J].科技资讯,2019,17（27）:

37-39.

二、研究内容（解决的问题），独创或新颖之处，拟采取的研究方法，预期成果，论文框架

（一）研究内容（解决的问题）

深度卷积神经网络有着自我学习的能力以及更高的准确率，因此在计算机视觉关于图像识别领域有着广泛的研究与应用。

本课题基于轻量级卷积神经网络和去雾算法展开研究，拟解决的主要问题包括四大大方面：

1．如何实现快速去雾并保证去雾质量。

设计轻量级多尺度卷积神经网络对雾霾图像快速去雾处理，提升去雾性能。

2．如何保证准确率的同时有效降低模型参数、缩短算法运行时间，尽可能提升识别准确率。

对MobileNet、ShuffleNet和MixNet等轻量级卷积神经网络展开研究，设计一个轻量级神经网络来对交通标志识别分类，有效降低参数的同时缩短算法时间，尽可能提升模型性能。

3．在结果最好的模型上制作雾霾环境下的交通标志识别系统。

4．如何进一步提升识别准确率和去雾效果。

研究HRNet的保持高分辨率特征融合思想和注意力机制，并在网络中应用。

（二）独创或新颖之处

1.借鉴AODNet的思想，引入平滑的空洞卷积和HRNet新的特征融合方法，实现基于多尺度卷积神经网络端到端的快速去雾算法。

该算法快速去雾，还原出清晰图像，满足实时性。

2.利用轻量化方法设计轻量级神经网络，并在网络中引入注意力机制。

3.制作交通标志去雾识别系统。

（三）拟采取的研究方法

本课题所用的去雾算法和交通标志识别方法均为深度学习方法。

拟采取的深度学习方法主要包括以下三种：

1．研究现有的传统去雾算法和多尺度神经网络去雾算法，借鉴AODNet的思想，引入平滑的空洞卷积和HRNet的保持高分辨率的特征融合方法，实现基于多尺度卷积神经网络的端到端的快速去雾算法。

利用RESIDE室外合成雾图数据集进行训练测试，再用一小部分自己收集真实雾图进行鲁棒性和有效性进行测试分析。

如有必要，可在端到端去雾神经网络算法后加入CLAHE算法作为修复模块，这是一种基于图像增强的直方图均衡的改进算法，作为二次去雾和提升对比度、亮度的手段。

2．利用混合深度可分离卷积、深度可分离卷积、瓶颈结构等轻量化方法来设计轻量级神经网络，最终达到识别精度高、推断速度快、参数少的效果。

3.分别做几组网络结构和参数配置的调整对比实验，选取最佳性能的模型制作交通标志去雾识别系统。

（四）预期成果

1.相比较传统的去雾算法，在保证去雾效果的前提下，尽可能压缩模型结构参数，加快算法运行时间，满足实时性，并与不同去雾算法做对比验证。

2．相比较于传统的Resnet等高复杂度、大量参数，本课题识别部分的轻量级神经网络模型识别精度高的同时大幅度减少参数，推理速度快，并进行不同交通标志的识别算法进行对比分析。

3．通过多种网络结构和实验参数配置调整，选取最优模型制作交通标志去雾识别系统。

。

4.发表中文核心论文至少一篇。

（五）论文框架

第一章绪论。

主要说明本文的研究背景和意义，去雾算法和交通标志检测与识别的研究现状。

第二章神经网络理论基础。

介绍神经网络基础知识，主要包括神经网络的结构、学习策略和反向传播更新参数的原理，还有一些常用的图像识别模型，重点介绍神经网络的结构和工作原理。

第三章基于轻量级多尺度CNN的图像去雾算法。

主要介绍大气散射模型、雾图光学模型、雾图成像模型，还有暗通道先验算法以及一些先进的多尺度CNN快速去雾算法，最后重点论述引入平滑空洞卷积和借鉴HRNet新的特征融合方法，改进的轻量级多尺度CNN以及其和其他去雾算法的性能比较，证明此方法的有效性。

第四章基于轻量级CNN的交通标志识别。

主要论述轻量级CNN的模块设计及其有效性对比分析，利用比利时和德国交通标志数据集测试由各个模块堆叠而成的CNN的性能以及和其他先进的卷积神经网络做性能对比分析，最后制作雾霾环境下的交通标志识别系统。

第五章总结与展望。

主要对整个学习研究阶段以及论文中的问题和收获进行总结，并对后续工作提出展望。

三、已进行的科研工作基础和已具备的科学研究条件（包括在哪个实验室进行试验，主要的仪器设备等），对其他单位的协作要求

通过互联网与中国知网、SCI、IEEECS与arXive等中外数据库与数字图书馆进行相关文献资料的搜集与学习，现已对国内外相关课题研究有所了解，对现有的去雾算法和交通标志识别算法进行对比分析，在PyTorch平