图像稀疏表示理论研究.docx

图像稀疏表示理论研究.docx

《图像稀疏表示理论研究.docx》由会员分享，可在线阅读，更多相关《图像稀疏表示理论研究.docx（57页珍藏版）》请在冰豆网上搜索。

图像稀疏表示理论研究

武汉理工大学毕业设计（论文）

图像稀疏表示理论研究

学院（系）：

信息学院

专业班级：

电信1001班

学生姓名：

朱玉峰

指导教师：

杨媛媛讲师

学位论文原创性声明

本人郑重声明：

所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。

除了文中特别加以标注引用的内容外，本论文不包括任何其他个人或集体已经发表或撰写的成果作品。

本人完全意识到本声明的法律后果由本人承担。

作者签名：

年月日

学位论文版权使用授权书

本学位论文作者完全了解学校有关保障、使用学位论文的规定，同意学校保留并向有关学位论文管理部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。

本人授权省级优秀学士论文评选机构将本学位论文的全部或部分内容编入有关数据进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

本学位论文属于1、保密囗，在年解密后适用本授权书

2、不保密囗。

（请在以上相应方框内打“√”）

作者签名：

年月日

导师签名：

年月日

摘要

本文借助数学软件MATLAB首先对不同小波基的图像稀疏表示能力进行了比较，从中选出最优基。

然后对基于MOD和K-SVD的两种不同算法的学习字典进行了去噪实验，得出了K-SVD字典的稀疏表示能力更优的结论。

虽然过完备稀疏字典的性能应该要优于小波变换，但还是通过对比试验来说明，这样显得更直观一些。

对基于最优小波基和基于稀疏字典两种情况进行了比较，所得结果对于整个图像稀疏表示理论的演变发展起到了论证作用，具有重要的指导意义。

论文主要研究了图像稀疏表示理论的整个发展历史以及现在的研究现状。

介绍了基于小波变换和多尺度几何分析方法的图像稀疏表示，重点研究了基于过完备字典的图像稀疏表示理论。

图像的过完备字典稀疏表示可分为稀疏分解和字典学习两过程：

稀疏分解是在过完备字典已知的情况下获得表示系数的过程；而字典学习与稀疏分解相反，则是通过获得的表示系数来更新过完备字典。

这两个过程的有效结合可以让图像稀疏分解的结果更加符合图像特征，从而提高图像的稀疏表示质量。

基于此两个过程的内容，本文分析了基于MP，BP以及OMP算法的稀疏分解和基于MOD和K-SVD算法的字典学习算法，并对其核心思想和性能差别进行了详细的介绍和分析，形成了以OMP算法用于稀疏分解，结合K-SVD字典学习算法的图像稀疏表示，并将此方法与小波变换进行比较。

研究结果表明：

基于稀疏字典的图像稀疏表示性能优于基于小波变换的稀疏表示。

本文的特色：

对整个图像稀疏表示理论的研究很全面，回顾了稀疏理论发展的历史和现状，通过实验论证了基于字典方法的优越性，对稀疏表示理论的后续研究提出了一定要求。

关键词：

图像稀疏；小波变换；过完备字典；OMP;K-SVD

Abstract

Inthispaper,usingsoftwareMATLABfirstlyindicatestheabilitytocomparedifferentimagesparsewaveletbase,choosethebasisfromwhichthe.ThenthetwodifferentlearningalgorithmsofMODandK-SVDdictionarybasedondenoisingexperiments,thesparseK-SVDdictionaryrepresentationcapabilityandbetterconclusion.Althoughtheperformanceovercompletesparsedictionaryshouldbesuperiortothewavelettransform,butbycontrastexperimenttoillustrate,thatseemsmoreintuitive.Basedontheoptimalwaveletbasisandsparsedictionarybasedontwoconditionswerecompared,theresultsindicatedtheevolutiontheorytodemonstratetothesparseimage,hastheimportantguidingsignificance.

Thispapermainlystudiestheimagesparserepresentationofthewholedevelopmenthistorytheoryandthecurrentresearchstatus.Thesparseimageanalysismethodofwavelettransformandmultiscalegeometricrepresentationbasedon,keyresearchbasedonovercompletedictionaryofimagesparserepresentationtheory.TheimageoftheovercompletedictionarysparserepresentationcanbedividedintotwoprocessesforlearningsparsedecompositionandDictionary:

sparsedecompositionistoobtaintherepresentationcoefficientsoftheprocessintheovercompletedictionaryofknowncases;anddictionarylearningandsparsedecompositioninstead,isobtainedbythesaidcoefficienttoupdatetheovercompletedictionary.Theeffectivecombinationofthesetwoprocessescanmaketheimagesparsedecompositionresultsmoreinlinewiththeimagefeatures,soastoimprovethequalityofimagesparserepresentation.Thetwoprocessbasedcontent,basedontheanalysisoftheMP,BPandOMPalgorithmofsparsedecompositionandMODalgorithmandK-SVDalgorithmbasedondictionary,andthedifferencebetweenitscoreideaandperformanceareintroducedandanalyzedindetail,usingOMPalgorithmforsparsedecompositionoftheform,combinedwiththeK-SVDdictionarylearningimagesparsealgorithmsaid,andthismethodiscomparedwiththewavelettransform.

Researchresultsshowthat:

theperformanceisbetterthanthewavelettransformbasedonthesparserepresentationofsparserepresentationofimagesbasedonsparsedictionary.

Thisfeature:

therepresentationtheoryinthestudyofverycomprehensiveontheimagesparse,reviewsthehistoryandpresentsituationofthedevelopmentofthetheoryofsparse,theexperimentsdemonstratethesuperiorityofthedictionarybasedmethod,saidsomefollow-upstudyonthetheoryofsparserequirements.

KeyWords：

Sparseimage;wavelettransform;overcompletedictionary;OMP;KSVD

目录

第1章绪论1

1.1研究背景及意义1

1.2国内外研究发展历程和现状2

第2章信号的稀疏表示理论4

2.1数学基础及相关说明4

2.1.1从逼近论到过冗余稀疏表示4

2.1.2稀疏性的度量5

2.1.3唯一性和不确定性6

第3章图像稀疏表示基本理论的发展8

3.1从傅里叶到小波8

3.1.1傅立叶变换9

3.1.2余弦变换9

3.1.3小波变换10

3.2超完备图像表示10

3.3超小波图像稀疏表示11

3.3.1Ridgelet（脊波）变换11

3.3.2Curvelet（曲线波）变换12

3.3.3Contourlet变换13

3.3.4Bandelet变换13

第4章图像稀疏字典的设计和构造15

4.1图像的稀疏分解15

4.1.1稀疏分解的定义15

4.2过完备字典16

4.2.1分数频率法16

4.2.2图像稀疏表示字典的选择和构造17

4.3稀疏分解算法的实现17

4.3.1BP算法17

4.3.2MP算法18

4.3.3OMP算法20

4.4稀疏字典发展趋势21

第5章不同稀疏表示方法的性能研究23

5.1基于不同小波基的稀疏性能研究23

5.1.1小波去噪原理23

5.1.2实验分析及结论24

5.2学习字典实验25

5.2.1MOD算法研究25

5.2.2K-SVD算法研究26

5.2.3实验分析及结论28

5.3基于小波变换和稀疏字典的图像表示性能比较30

第6章全文总结与展望32

6.1论文工作总结32

6.2未来工作展望32

参考文献33

附录34

致谢39

第1章绪论

1.1研究背景及意义

随着社会的不断进步，信息技术已经成为人们日常生活中不可缺少的组成部分，图像丰富的信息含量使其成为人类获取信息的主要信息源。

然而经过数字化处理的图像数据量十分庞大，给实际的存储、传输和理解带来了相当大的困难。

图像表示模型的建立是图像处理应用开展的基础，如何设计既简洁又高效的图像表示模型，降低实际应用中巨大的图像数据量带来的压力，是图像处理理论和实践研究中一个十分重要的课题。

传统的图像表示方法仅仅使用某一种正交变换基函数（如傅里叶基等）对图像进行表示，不能有效地表示图像的结构特征，从而不能对图像形成最稀疏的表示。

小波变换理论和方法的提出弥补了傅里叶变换不具有时域局部化能力的缺陷，并且能对非平稳信号进行有效地处理，小波变换比傅里叶变换能更稀疏的表示一维信号。

然而自然界中的图像往往是具有不同复杂几何结构特征的二维信号，在用二维小波对图像进行表示时，在不同的小波系数子带上会同时出现图像的几何结构特征，结果造成了表示的不稀疏。

多尺度几何分析方法是继小波变换之后，提出的又一类新的图像表示方法。

该方法的出现被称为小波兴起后的又一场革命。

多尺度几何分析方法的提出主要是为了解决高维空间数据稀疏表示问题。

图像的多尺度几何分析理论与方法是一个前沿的研究领域，其理论和算法还处在发展之中。

在国内，目前图像稀疏表示方面的研究主要集中在多尺度几何分析理论及其应用。

1996年，Olshausen和Field提出了稀疏编码模型。

稀疏编码理论表明，V1区简单细胞感受野的反应特性能够反映自然图像的主要结构特征。

图像过完备稀疏表示作为一种有效的图像稀疏表示模型，其编码机制与人类视觉感知系统处理信息的方式相匹配，字典中的原子可以理解为人类视觉皮层中的神经元，应具有与神经元相类似的感受野结构，如方向性、局部性、帯通性，从而可以有效的捕获到自然图像中的局部几何结构信息[1]。

在图像过完备稀疏表示模型中，将信号在过完备字典上分解，尽可能的使信号能量集中到少量的系数上，即大部分变换系数为零，只有很少的非零大系数。

同时用来表示信号的字典原子可以自适应的根据信号本身的特点灵活选取，以得到信号非常稀疏的表示。

对比基于固定正交基的图像表示，过完备图像稀疏表示达到了更优的逼近效果。

同时冗余系统能够对噪声与误差更为鲁棒，从而为图像处理带来了很大的便利。

图像表示是图像处理领域中一个非常核心的问题，它在图像压缩、特征提取、图像检索、图像去噪和图像复原等应用中起着非常关键的作用。

尽管在图像稀疏表示研究方面取得了一定成就，但目前稀疏表示理论还不够成熟，在实际研究与应用过程中还有许多问题亟待解决。

建立高效、灵活的图像稀疏表示模型，研究有效、快速的图像稀疏表示算法，将有利于推动图像处理领域研究的开展。

1.2国内外研究发展历程和现状

对于信号而言，数据处理算法和数据模型的好坏直接决定了是否能够准确有效的对数据进行处理、量化和压缩。

同时，从物理学和信息学的观点来看，任何信息都可以从多个不同的角度来对其进行研究，所以，在早先的信息处理中，当对某个信息的描述和理解出现困难时，研究者们往往会将其变换到其它便于描述和理解的变换域进行处理。

在这种模型下，奈奎斯特最早提出奈奎斯特采样定律，确定了可以无失真恢复原始信号的最小采用速率，为现在数字信号处理奠定了基础。

到傅立叶提出傅立叶变换以后，人类推开了信号稀疏表示的大门。

从之前所使用的离散Fourier变化（DFT）、离散变换Walsh（DWT）、离散Hadamard（DHT）、离散余弦变换（DCT），直到90年代风靡全球小波变换理论，其本质都是将信号变换到其它域进行处理[2]。

在此理论下，最著名的静态图像压缩标准当属以离散余弦变换为基础的JPEG和以离散小波变换为基础的JPEG-2000。

在JPEG中，图像中的大的非零系数大多被保留在了图像的左上角中DCT变换中，其余部分系数较小，所以仅使用左上角的DCT系数就能对图像内容进行较好的近似表示，有利于图像的压缩。

而在JPEG-200中，小波系数中幅值较大的系数更少，系数分布更加稀疏,能够采用更少的数据对图像进行表示。

对大多数类型的图像，JPEG-2000比JPEG拥有更好的图像压缩性能。

此后，在很长一段时间里，小波都以其强大的实用价值和理论体系受到了人们的广泛关注。

但是，小波变换不能有效的表示出图像中的线状奇异性，只是对点状奇异性的对象表现出良好的效果，这就造成了小波推广到多维信号处理时的局性。

其不足之处表现在变换不具备平移不变性以及对具有各种方向性的集合奇异特性的表示不稀疏。

基于小波变换的缺点和劣势，在上世纪九十年代末开始。

Donoho、Mallat、Coifman、Daubechies等学者和研究人员提出了一系列的与小波变换类似但也不完全一样的一类新的方法，这一类方法在2003年的纯粹应用数学（PureandAppliedMathematics）会议上被统一定义为“几何多尺度分析方法”。

具有代表性的如Ridgelet、Curvelet、Bandelet、Contourlet等[3]。

这类方法为信号稀疏表示的发展提供了一种新的途径，并解决了小波方法未能解决的方向性问题。

在此之后国外对几何多尺度分析的研究非常活跃，各类新的概念、理论、方法层出不穷。

多几何分析工具往往只能表示出信号的某一特定特征，例如纹理，边缘等。

Coifman、Wickerhauser和Mallat、Z.Zhang[4]先后在1993年提出了将信号在过完备基（over-completedictionary）上分解的思想，即信号的稀疏表示方法。

将信号在过完备基上进行分解，可以得到信号的一个非常简洁的表达式。

这种新的理论可以获得更加稀疏的信号表示。

随后Mallat在1994年提出了匹配跟踪算法（MatchingPursuit,简称MP），用于实现图像的稀疏分解。

这一算法之后又被扩展为OMP正交匹配跟踪算法。

基于针对图像的稀疏分解方法，目前已经发展出了多种算法，包括BP、MP、OMP算法等。

在此类方法中，用于图像稀疏分解的过完备基的构造和选取是其中十分重要的一个环节。

这一点也在随后研究者的研究成果中得到了验证。

所使用的过完备基由最先的固定基，如小波包、Bandelet等之类，逐渐发展成了现在的基于样本的学习算法，常见的有：

最大似然法，最优方向法（MethodofOptimalDirection,MOD）、K-SVD字典方法、最大后验概率法等[5]。

通过研究发现，使用过完备基对图像进行稀疏表示可以获得更好的图像质量。

国内对稀疏表示的研究近些年也开始日益发展起来，并取得了长足的进步。

国内学者们已在这一领域发表了大量的论文，涉及图像处理的多个方面，其中包括识别、去噪、超分辨率等，引起了同行的关注，并在国际上造成了一定的影响力。

第2章信号的稀疏表示理论

2.1数学基础及相关说明

信号表示实际就是把给定的信号在己知的函数（或矢量）集上进行分解,然后在变换域上表达原始信号。

这种在变换域上用尽量少的基函数来（准确地）表示原始信号，就是信号的稀疏表示，而得到信号的稀疏表示过程就是稀疏分解。

对于信号矢量

（其中，i—信号时频参数组，i=1,2,,,k,N—信号长度），由其组成的集合构成了一个过完备原子库，也称之为词典D，词典中的元素被称为原子。

设D={

}为用于进行信号稀疏分解的过完备原子库，其元素是在整个Hilbert空间H=

的单位矢量。

由于原子库的冗余性（i>>N），矢量

不再是线性无关的[6]。

一般地，对于任意给定的长度为N的实信号

，用少数的原子（与信号长度相比较而言）就可以表示信号的主要成分，即

（2.1）

式中，j是原信号分解的原子个数；

是信号f在原子

上的分量，无因次；

是由参数组i定义的原子，无因次；

第j个原子对应的时频参数组，无因次。

式（2.1）中，关在于如何从各种可能的线性组合中寻求出分量最为稀疏的一个解。

理论上，以上问题可以通过线性规划的方法加以解决，但由于算法所涉及的计算量非常大，因此，早期的研究主要集中在寻求快速算法和降低算法复杂度，以及选择何种类型的原子来造合适的词典等方面。

最近几年，许多研究者尝试通过分析冗余词典的互不相干性来寻求新的解决办法。

2.1.1从逼近论到过冗余稀疏表示

从逼近论的角度，信号的表示可以分为：

线性逼近和非线性逼近。

线性逼近是将信号f投影到从规范正交基

中事先选取的M个向量上。

（2.2）

而非线性逼近是根据信号的性质选取M个向量

改进（2.2）式的线性逼近结果。

记

为这M个向量的指标集，则f的逼近为：

（2.3）

其逼近误差为：

（2.4）

为使上面的误差最小，选择M个向量使得内积的幅值

是前M个最大的。

因此按照逼近论的思想，逼近的目标是为了选择最能刻画信号固有性质的基，在变换域用尽量少的系数来描述信号。

相对线性信号，能够通过选择更广泛的函数类里的向量来替代原来的基底，用这些向量来对非线性信号逼近，可以改善逼近质量。

此时，为了更好的表示信号，基的正交性也不是必要的，这样，就可以有更大的自由度去选择逼近元。

由此，可以给定一个集合

，把这个集合称为字典（或原子库），集合中的元素称为原子，这里K>>N,N为信号的长度，所以这个字典是过冗余的,用字典中少量的原子对信号进行逼近,即:

（2.5）

而由于N>>M,所以也把这种逼近称为稀疏逼近。

这种系数

不是唯一的，可以通过应用的不同而灵活的选取系数，一般的从众多系数的选择中选取最为稀疏的系数，也即系数矩阵里为零值的占大多数，仅含少量的非零系数，但是只需要通过这几个大系数就能够很好的展现出信号的本质特征。

这样在实际应用中我们仅用少量的几个系数就可以对信号进行描述，简化后续处理的工作量。

这个稀疏度可以用范数

进行度量，建立如下的数学模型并将下面的问题称为

问题：

（2.6）

范数是

范数中

的情况，定义为

中非零元素的个数。

将字典中的所有原子作为列向量依次排列，可以构成一个

的矩阵，记为

。

用矩阵（向量）的形式来表示原有的稀疏表示模型：

（2.7）

矩阵的分解过程中可以看到系数矩阵

中的非零值仅占很小的比例，达到了稀疏的要求。

2.1.2稀疏性的度量

在上一节中我们看到，过完备稀疏表示问题可以用一个有约束的

范数问题等价和度量，但是由于

问题是NP-Hard问题，现有的算法无法解决，所以只能另辟蹊径用其他方法对它进行近似。

范数准则可以在对稀疏表示系数的非零个数度量的同时兼顾信号的重建误差，在数学分析理论中通常是使用

范数进行稀疏度量，将

范数定义如下[7]：

（2.8）

当0

范数最小化方法可以度量稀疏。

当

时

范数的值与x中非零项的个数就更加近似。

同上面所提到的用

范数对信号稀疏程度度量的方法相似，稀疏因子（SF，SparseFactor）也是一种度量手段，

范数方法是计算系数中的非零项的个数，以此进行度量，而稀疏因子是计算非零项个数与总系数个数之间的比值。

定义如下:

（2.9）

实际中，系数并不是绝对为零的，而是系数间相互比较，得出大幅值和小幅值，所以一般将系数通过阈值的方法进行划分，而不是用零。

除此之外，式（2.3）的非线性逼近误差也是衡量标准之一，它体现了用逼近元表示信号时的稀疏程度或者分解系数的能量集中程度，当然这个值是越小越好。

2.1.3唯一性和不确定性

第一节中提到，可以将精确的过完备表示用一个欠定线性方程组

（

为满秩阵，

）来表示，那么就会有下面两个问题:

Q1:

什么条件下可以唯一的确定稀疏解？

Q2:

能否确定候选解是全局最优也就是保稀疏的呢？

研究者们经过严密的推导得到下面的定理，回答上面的问题。

首先给出两个定义[8]：

定义1：

矩阵A的spark是让A中具有相关性的最少的列数。

（2.10）

定义2：

字典的相干系数为字典中不同的原子间的内积的绝对值的最大值。

（2.11）

正交基的相干系数为0，字典的相干系数越小，与正交基越相似。

当相干系数为1时，则意味着字典里至少有两个一样的原子。

定理1.1唯一性定理：

如果给定的欠定系统存在某一稀疏解

满足

（2.12）

其中

定义为字典

中任意一组原子线性相关时所需的最小个数，则该解是唯一的且为最稀疏解。

定理1.2如果一个线性方程组

有一个解

满足

（2.13