基于深度学习的图像超分辨率重建研究.doc

1、毕业设计(论文)基于深度学习的图像超分辨率重建研究院 别数学与统计学院专业名称信息与计算科学班级学号5133117学生姓名楚文玉指导教师张琨2017年06月10日基于深度学习的图像超分辨率重建研究摘 要人工神经网络凭借其超强的学习能力，使得人工智能得到迅猛的发展，让人工神经网络再次成为研究热点。目前深度学习已经广泛应用于计算机视觉，语音处理，自然语言处理等各个领域，甚至在某些领域已经起到了主导作用。单一图像超分辨率重建技术旨在将一个低分辨率图像经过一系列算法重构出对应的高分辨率图像。目前比较成熟的方法有基于频域法，非均匀图像插值法，凸集投影法，最大后验概率法以及稀疏表示法。本文主要研究利用深度

2、学习实现单一图像超分辨率重建。本文首先简要介绍人工神经网络的发展历程，然后介绍深度学习在计算机视觉方面的应用。然后介绍神经网络的一些理论知识，最后介绍深度学习中的卷积神经网络（CNN, Convolutional Neural Network）。本文研究如何利用卷积神经网络实现超分辨率重建。卷积神经网络分为三层结构，第一层的作用是特征块的提取和表示，第二层的作用是非线性映射，第三层的作用是重建出高分辨率图像。本文首先将一个图像降采样再双三次插值作为低分辨率图像，作为卷积神经网络的输入，而高分辨率图像作为卷积神经网络的输出，利用卷积神经网络建立低分辨率，高分辨率之间的映射。最后针对该模型进行改进

3、，再加入一层作为特征提取。最后利用深度学习框架TensorFlow实现上述模型。最后研究快速超分辨率重建模型，并针对模型层数和过滤器大小进行改进，与先前实验做比对。关键字：超分辨率重建，卷积神经网络，深度学习，TensorFlowImage Super-Resolution Using Deep learning Author: Chu Wen-yuTutor: Zhang KunAbstractArtificial Neural Network because of its strong ability to learn, get rapid development of artificia

4、l intelligence, let the Artificial Neural Network become the research upsurge again. Deep learning has been widely used in computer vision, speech processing, natural language processing and so on. The super-resolution(SR) technique is designed to refactor a low-resolution image through a series of

5、algorithms to reconstruct the corresponding high-resolution image. Currently, the method of frequency domain, Non-uniform image interpolation, Projection onto convex set(POCS), Maximum a posterior(MPA) and sparse matrix method are the more mature methods. This paper mainly researches the realization

6、 of super-resolution(SR) reconstruction using deep learning.In this thesis, first is a brief introduction of the development of artificial neural network, then introduces the application of deep learning in computer vision. With that introduces some theoretical knowledge of neural network, and final

7、ly introduces the convolution neural network(CNN) in deep learning. This article mainly researches how to use the convolution neural network(CNN) to get the super-resolution reconstruction. The convolution neural network contains three structures, the effect of the first layer is Patch extraction an

8、d representation, the second is the function of Non-linear mapping, the role of the third layer is the high-resolution image reconstruction. First to downscale and bicubic interpolation an image as the low-resolution images as the input of the convolution neural network, and the high-resolution imag

9、e as the output of the convolution neural network, using convolution neural network established end-to-end mapping between the low -resolution and high-resolution. Finally, the model is improved, and then a layer is added as feature extraction. The model implements using deep learning frame TensorFl

10、ow. Finally, learn more about the accelerate super-resolution reconstruction model and improve the model layer and filter size, and compare with the previous experiment.Key Words: Super-Resolution, Convolution neural network, Deep learning，TensorFlow 东北大学秦皇岛分校毕业设计（论文） 第IV页目 录1 绪论11.1 课题背景及意义11.2 国内外

11、研究现状21.3 论文的内容结构32 深度学习理论52.1 人工神经网络理论52.1.1 神经网络基础理论62.1.2 BP反向传播算法92.1.3 随机梯度下降法122.2 深度神经网络理论132.2.1 深度学习的核心思想132.2.2 卷积神经网络142.3 TensorFlow简介193 基于SRCNN的超分辨率重建算法研究213.1 SRCNN模型简介213.2 SRCNN模型的改进223.3 改进的模型的实现233.3.1 数据集制作233.3.2 TensorFlow实现卷积神经网络243.4 FSRCNN模型273.4.1 FSRCNN模型简介273.4.2 FSRCNN模型改

12、进284 实验及分析294.1 具体实验结果分析294.2 与其他实验对比分析31结 论35致 谢36参考文献37附 录 A39附 录 B44 东北大学秦皇岛分校毕业设计（论文） 第 56 页1 绪论1.1 课题背景及意义从2016年AlphaGo完胜李世石到2017年5月战胜柯洁等诸多世界围棋顶级高手，人工智能和深度学习这些概念再次引起了学术界的关注。谷歌、脸书、阿里巴巴、百度等众多国内外互联网公司纷纷宣布要将人工智能作为他们的下一个战略重心1。在类似AlphaGo、无人机驾驶汽车等最新技术的背后，深度学习是推动这些技术发展的核心力量。目前我们所熟知“深度学习”基本上是深层神经网络的一个代名

13、词，而神经网络技术可以追溯1943年。深度学习之所以看起来像一个新技术的原因是在21世纪初期并不是很流行。神经网络的发展史大致可以分为三个阶段。早期的神经网络模型类似于仿生机器学习，它试图模仿大脑的学习机理。最早是在1943年由Walter Pitts教授和Warren McCulloch教授提出的McCulloch-Pitts Neuron(MP)计算结构模型，大致模拟了人类神经元的工作原理，使用了简单的线性加权和的方式来模拟变换2。Frank Rosenblatt教授在1958年提出了一个感知机模型（perceptron）3。它首次实现了依据样本数据集来学习权重。这两个模型深深的影响了现代

14、机器学习，为现代机器学习奠定了基础，但自身也存在许多不足。Seymour Paper教授和Marvin Minsky教授在1969年出版的Perceptron书中证明了感知机模型只能解决线性可分问题，无法解决异或问题。在之后的十几年里，关于神经网络的研究全部处于停滞状态。直到20世纪80年代末，第二波神经网络研究热潮因为分布式知识表达（distributed representation）和神经网络反向传播算法的提出而重新兴起。这大大增强了模型的表达能力，让神经网络从宽度的方向走到了深度的方向。这为之后的深度学习奠定了基础。1986年David Everett Rumelhart教授、Geof

15、frey Everset Hinton教授和Ronald J. Willians教授在自然杂志上发表的Learning Representations by Back-propagating errors文章中首次提出了反向传播算法（BP）3，此算法大幅降低了训练神经网络的时间。直达今天仍是训练神经网络的主要方法。现如今使用的一些神经网络结构，比如卷积神经网络和循环神经网络，在这个阶段取得了显著的成就。Sepp Hochreiter教授和Juergen Schmidhuber教授于1991年提出的long short-term memory（LSTM）模型可以有效的对较长的序列进行建模，比如一段文字和语音等。直到今天LSTM都是解决自然语言处理，语言识别的有效方法。然而，之后神经网络研究再度步入寒冬。在神经网络发展前景不好的时候，传统的神经网络学习算法却得到了突破性的进展，并在90年代末超过了神经网络，成为当下最先进的方法。典型的案例是1998年，使用支持向量机（SVM）的算法在手写体识别上，可以把错误率降低到0.8%