压缩感知的重构算法Word文档下载推荐.docx

压缩感知的重构算法Word文档下载推荐.docx

《压缩感知的重构算法Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《压缩感知的重构算法Word文档下载推荐.docx（29页珍藏版）》请在冰豆网上搜索。

l=supl<

y,]>

1

（1）

10畑”.」）

其中，，表示字典矩阵的列索引。

先将信号y投影到向量.-

上，信号y也可以表示为：

yn°

\Ri⑵

（2）式等号右边的第一项为观测矩阵中最匹配原子;

：

.的垂直投影分

10

量，等式右边的第二项R1是y通过1分解后的残差，且与y正交。

1f0

（2）式可以写为：

222

IMITy，：

0丨IIR1II（3）

对残差Rl进行上面同样的分解，在第n次迭代过程中：

FTR’m+Ri（4）

因为Rn和、正交，则（4）式可以表示为：

n

IlRn||十Rn,」IIRnill（5）

最后，信号y可以表示为：

y—y，Rm（6）

i=0一i一j

因为最后的残差R计正交于上次迭代产生的残差Rn，则最后的表达式为：

2n22

IM严目，古MlRdl（7）

l=o1

由（7）式可知，当残差Rn1为零时，可以得到信号的精确分解。

定理i[3]存在_0，使得一切对于n-0时，有

iirj卜2nIIyI成立。

这样（7）式中，IIRnji按照指数衰减的形式趋于零，也就是

2n2

||y||[Jy「i1成立。

参考文献：

[1]曹离然•面向压缩感知的稀疏信号重建算法研究.[D]•哈尔滨工业

大学，2011.

[2]Y.C.PATI.OrthogonalMatchingPursuit:

RecursiveFunction

ApproximationwithApplicationstoWavelet

Decomposition」EEE.1993:

40-44

[3]韩红平•压缩感知中信号重构算法的研究.[D].南京邮电大学，2012.

1.2MP算法的理论框图

根据上面的MP算法的原理，得出MP算法的理论图[1]，这样更容易理解

开始

图1:

MP算法框图

[1]韩红干.压缩感知中信号重构算法的研究[D].南京邮电

大学，2012

1.3MP算法的算法流程

根据1.2中介绍的MP算法的理论框图，现在写出MP算法的算法流程[1][2]，这样让我们对MP算法有一个更加清晰的理解。

输入：

测量矩阵：

（MN），测量向量y（N1），稀疏度k

输出：

重构信号x

（1）：

初始化余量「0=『，迭代次数n=01；

（2）：

计算余量与测量矩阵的每一列的内积gn»

-Trn‘；

共有N个内积数值。

⑶：

找出N个gn中的绝对值最大的元素gn（k），k为对应的最大内积的列号。

（4）：

计算信号的近似解xn[k]=xn"

*[k]+gn[k]；

（5）:

更新余量「n=广-g〉k]®

k；

（6）：

若满足迭代条件，则n=n+1，xn，若不满足迭代条件则返回步骤

（2）；

迭代次数为稀疏度的2倍。

[1]LinfengDu,RuiWang.AnalysisonGreedyReconstruction

AlgorithmsBasedonCompressedSensing.[J]」EEE2012:

783-789

[2]文首先.压缩感知匹配追踪算法的研究.[D].2013

1.4MP算法的信号重构

本节分别通过对一维离散信号，二维Lena为例，进行MP算法

的信号重构

（1）一维离散信号的MP算法仿真

本次仿真使用matlab随机生成的一维离散信号，稀疏度k=23，信号长度N=256，观测向量的长度M=80，那么采样率M/N=0.3，其中的观测矩阵门是高斯随机矩阵。

采用MP算法对一维信号进行重构，重构图如1:

图1：

MP算法重构一维信号

通过上面的重构可以得出，MP算法对一维信号有很好的重构效果。

（2）二维lena图像的MP算法重构

我们上面的研究知道MP算法对一维信号有很好的重构作用，但是算法不只是要在一维信号中有好的重构功能，还要能很好的

重构二维信号才可以，这样应用的范围才会更大。

我们知道压缩感知重构的是可压缩的稀疏信号，二维信号是不稀疏的，这就要在进行算

法重构的时候进行一些处理，我们可以先采用离散余弦变换（det）

使数据稀疏，算法重构结束之后再进行离散反余弦变换（idet）,这样就转化为了我们所需要的。

本次在matlab中的仿真，我们采用的是

256256的Lena的二维图像，M=180，N=256，稀疏度k=40，

M/N=0.7，观测矩阵是高斯随机矩阵，采用MP算法对二维图像进行重构，重构效果如图2（b）:

（a）原始图片（b）MP算法重构

（M/N=0.7）

通过上面的（a）图和（b）图可知，采样率为0.7的时候，MP算法也能对二维图像进行精确重构。

2.正交匹配追踪算法（OMP）

2.1OMP算法的原理

OMP算法是在MP算法的基础上进行改进的，沿用了MP算法的重构的思想，但是又对MP算法进行了改进，使得算法的效率更高，应用更加的广泛。

MP算法的信号分解中步骤中介绍：

y-：

y®

厂人厂亠Ri，这说

..0,・0

明信号在已经选择的原子上的投影（等是右边第一项）是非正交的，还存在着残差，也就是说每次迭代的过程是次最优的，不是最优解，要想最终的迭代收敛，需要的迭代次数较多。

OMP算法就是根据MP算法的不足之处加以改进，把所选择的原子首先通过Schimidt正交化处理，使得在达到迭代条件的时候需要的迭代次数较MP算法少，但

是正交化的过程中会增加计算量。

在每一步中如何对选择的全部原子进行正交化处理呢？

这是

OMP算法和MP算法的不同之处。

下面介绍OMP算法正交化原理[1]:

信号y经k步分解:

（1）

r+Rk且CRk，®

「＞=0,n=1,…，k

-nn

（1）式和MP算法的不同在于，MP算法是残差和前面的一个分量正交，而OMP算法是残差和前面的每个分量都正交

k+1步分解为：

k1k仁

y—'

anRk1且Rk1^0n=1,…，k+1

（2）

n=1'

n一n

k+1阶减去k阶：

k1.：

nW

a1

要想对选择的全部原子进行正交化处理，要求（3）式等于零。

测量

矩阵的原子不正交，为了说明（3）式等于零，下面引入一个辅助模

型，模型表示的是「对前k个项「（n=1，…，k）的依赖，数学

「叶rn

语言描述如下：

kk

9r=zb^\+rk且<

r「「>

=0,n=1,…,k⑷

-n1nd-n-n

:

在Cr…,，k）上张成的正交投影，等式右边的第二项是残差，（4）

-k1

式代入（3）式中:

kk1kk1kk1

乞G一an*a“bn）J+（aMk*Rk"

°

n占一n

如果（6）和（7）式成立，则（5）式必然成立,

k1kk1k

an-anak^bn〜0

k1

ak忙Rk1—Rk=°

人k41-若

令ak厂ak，有：

k1kk

an=a_akbn二1,…,k

ar「R1R=°

n=h…,k

（5）

（6）

⑺

（8）

（9）

（8）和（9）两式成立，以上就是OMP算法进行正交化的过程

参考文献:

[1]Y.C.PATI.OrthogonalMatchingPursuit:

2.2OMP算法的流程图

和上面的MP算法一样，我们同样画出OMP算法的流程图，可

以让我们更加清晰的理解算法

图：

OMP算法的流程图

2.3OMP算法的算法步骤

和MP算法一样，我们也在给出OMP算法的流程图之后，再给出OMP算法的算法步骤[1][2]。

感知矩阵叮-（MN），测量向量y（N1），稀疏度K

A

重构信号X

（1）初始化余量「0二y，迭代次数n=0,重建信号Xo=O，索引集

"

[]；

（3）找出gn中绝对值最大的元素；

（4）更新原子组合._{:

k}和新索引集:

^li--nJ{k}；

（5）利用最小二乘法计算信号的近似解：

Xn=（>

Tn「n）>

（6）计算更新余量：

「n二y—"

xn；

（7）更新迭代次数n=n+1,若满足迭代条件，则X二Xn；

若不满足迭代的的条件则返回

（2），继续进行迭代；

参考文献[1]文首先.压缩感知匹配追踪算法的研究.[D].2013

[2]Y.C.PATI.OrthogonalMatchingPursuit:

上面提到最小二乘法，首先我们先较少一下什么杀死最小二乘法，

然后再说明一下为什么OMP算法可以用最小二乘法就信号的解。

名词解释：

最小二乘法

最小二乘法（最小平方法）是一种数学优化技术，它通过使数据

误差的平方和最小来寻找数据的最佳函数匹配。

最小二乘准则：

使全部样本观测值的残差平方和达到最小。

即

=（oJ1,・・・,〉k），未知参数的估计为

-2

ot

其中，Yi是第i次的样本观测值，Yi为相应的第i次的样本估计值,

|AA

e=l*，对上式进行求导，以便得到最小二乘估计

e一

值：

Q：

'

A'

A

—（Y^2aXYJXXG）=-2XY+2XX—0©

a

AJ

移项可得，x'

x〉二xy，在这里我们假定（x'

X）存在，用（x'

x）左乘上式的；

两边，得到〉的最小二乘估计量，=（x'

x/x'

y，这个公式也就是OMP算法步骤中的步骤（5），以上就证明了最小二乘法估计OMP算法的方法。

2.4OMP算法的信号重构

本节对OMP算法进行重构，采用一维离散信号和二维lena信号对其进行信号重构，来观察OMP算法的重构功能。

（1）一维离散信号的OMP算法仿真

本次仿真使用matlab随机生成的一维离散信号，稀疏度k=15，信号长度N=512，观测向量的长度M=128，那么采样率M/N=0.25，其中的观测矩阵“是高斯随机矩阵。

采用OMP算法对一维信号进行重

通过上面的重构可以得出，OMP算法对一维信号有很好的重构作用。

（2）二维lena图像的OMP算法重构

OMP算法对二维信号进行重构，在这里我们采取和MP算法二

维信号重构的方法，也是先采取离散余弦变换（dct）使数据稀疏，

算法重构结束之后再进行离散反余弦变换（idct），这样就转化为了我

们所需要的。

本次在matlab中的仿真，我们采用的是256256的

Lena的二维图像，M=180,N=256，稀疏度k=40,M/N=0.7，观测矩

阵是高斯随机矩阵，采用OMP算法对二维图像进行重构，重构效果

如图2（b）：

（a）原始图像（b）OMP算法重构图片

通过上面（a）图和（b）图的重构可知，采样率为0.7的时候,

OMP算法也能对二维信号很好的重构。

3基追踪算法（BP）

压缩感知中很重要的一步就是重构算法，重构算法关系着重建信号的质量。

基追踪算法是凸松弛法是很有代表性的一种算法。

3.1凸松弛法介绍

凸松弛法是信号在重构的过程中把重构问题由|0范数问题转化为了

h范数的凸优化问题。

下面首先介绍几个涉及到的概念

凸优化：

定义域是闭合的凸集；

函数是定义域上的凸函数的最优化问题，只有两个条件同时满足才是凸优化。

凸集：

数学定义，D为集合

rWxiXED,讥阿丙塔1。

）府D

凸集的几何意义：

集合中的任意两点连线段都在集。

凸函数：

凸集上的g（x）函数和任意的实数＞[0,1]，Xl，X2D,使g（：

Xl（1「）X2）「g（Xl）（1-：

）g（X2）成立，g（x）就是凸函数。

下面介绍一下0范数为什么可以用11范数进行求解，可以用|2范数进行求解吗？

首先给出这三个范数的统一的数学表达式：

山叫卜TX||ps.t.Y"

甲TXP=0，1，2

将三种范数投影到二维空间中，直线Y八：

-?

TX在二维空间中是一条直线，图1是三种范数在二维空间构成的图形和直线之间的直观图。

三种范数与直线的关系图

其中（a）是|0范数与Y八TX直线关系图，（b）是11范数与

Y-:

J■■/X直线关系图，（c）是12范数与丫-:

-：

j■■/X直线关系图。

由（a）图可知，|0范数在二维空间中是沿着坐标轴的两条垂直的线，直线向坐标原点逼近的时候首先是和坐标轴相交，这也就是我们所要

求的稀疏的解；

由（b）图可知，h范数在二维空间中的图形是一个如（b）图的菱形，排除直线和菱形的一条边平行的情况，直线向菱形逼近的过程中，首先相交于菱形的四个点，也就是坐标轴上的点，这也就是我们所要求的稀疏的解；

由（C）图可知，|2范数在二维空间中的图形是圆形，直线向圆形逼近的时候，直线和圆相交的点几乎都不在坐标轴上，只有直线和坐标轴平行的小概率的时候。

通过上面的介绍可以知道，可以用11范数来代替I。

范数进行求解。

3.2BP算法的原理

上节提到的|0范数，由于我们所要求解的问题是方程的个数远远大于未知数的个数，用|0范数求解是很难求解出来的，这样就找到一种用h范数来代替|0范数求解的方法，BP（BasisPursuit）算法就是利用|1范数求解的一种很好的方法。

BP算法不是直接寻求信号的稀疏表示，只是表示的用于最小化的|1的系数［1］，通过等价信号的最小化的‘范数表示［2］。

下面介绍BP算法的原理。

BP算法中|0范数的模型为：

x=mirJlxll。

s.t.y=>

X

（1）

Io范数是稀疏变换中不为零的个数，

（1）式的求解比较困难，通过上面的说明，l0范数可以用'

范数进行代替，则

（1）式可以表示为：

x=min||x||s.t.厂①X

（2）

（2）式表示的是理想的一种情况，在实际的应用中，会混入噪声，也就是：

y二:

jxnoise（3）

那么

（2）式可表示为：

x=m^n||X||s.t.Ily-f；

（4）

（4）式中；

为噪声的能量。

由于实际模型中会混入噪声，这就需要一种抑制噪声的模型，也就是改进后的BP算法，改进后的BP算法

对噪声有一定的抑制作用，那么改进后的模型为[3]:

mxin（1/2）||y-①x|2+K||x||（5）

其中，（5）式的第一项是信号经观测矩阵之后的观测值，式子的第

二项是噪声产生的观测值，表示观测值中中非零元素的位置。

BP

算法中就把凸松弛算法转化为了线性规划问题求解，则（5）式可以

转化为[1][3]:

（6）式中,

Zucker.GreedyBasis

[1]PatrickS.Huggins,StevenW.

Pursuit.lEEE.2007,55（7）:

3760-3772

[2]S.S.Chen：

BasisPursuit'

Ph.D.dissertation,Dept.StatisticsStanford

University,Stanford,CA,1995.

[3]文首先.压缩感知匹配追踪算法的研究.D.2013

3.3BP算法的信号重构

本节对BP算法进行重构，采用一维离散信号和二维lena信号

对其进行信号重构，来观察BP算法的重构功能。

（1）一维离散信号的BP算法仿真

本次仿真使用matlab随机生成的一维离散信号，稀疏度k=30,信号长度N=1000,观测向量的长度M=200，那么采样率M/N=0.2，其中的观测矩阵“是高斯随机矩阵。

采用BP算法对一维信号进行重构，重构图如图1：

BP算法一维信号重构图

由图1可以得到，BP算法对一维信号有很好的重构功能。

（2）二维lena图像的BP算法重构

BP算法对二维信号进行重构，在这里我们采取和MP算法二维

信号重构的方法，也是先采取离散余弦变换（det）使数据稀疏，算法重构结束之后再进行离散反余弦变换（idet），这样就转化为了我们

所需要的。

本次在matlab中的仿真，我们采用的是256256的Lena的二维图像，M=180，N=256，稀疏度k=40，M/N=0.7，观测矩阵是高斯随机矩阵，采用BP算法对二维图像进行重构，重构效果如图2

（b）:

（a）原始图像（b）BP算法重构图片

BP算法也能对二维信号很好的重构。

本章小结

本章详细介绍了三种比较典型的重构算法，分别是MP,OMP,BP

算法，介绍了三种算法的原理，还有三种算法对一维信号和二维lena信号的重建功能，得出结论是三种算法都有很好的信号重建的功能

不同算法的比较

上一章中只是对三种算法的原理进行了详细的说明，并用matlab

验证三种算法可以对信号进行很好的重构，没有对算法进行分析，即

采样率的不同对算法的影响和对lena信号重构的清晰度的影响。

在这一章中，就对三种重构算法进行分析。

1采样率对三种算法的影响

1.1采样率对MP算法的影响

我们先看一下采样率对一维信号的影响，首先用重构图来直观的区别一下，表1是MP算法中采样率对重构时间和误差的表格：

采样率

M

02

03

04

0.5

0.6

0.7

0卡

MSE

5.6578

2.2428

1,7904

03125

0.2224

0.0533

0.0476

0.0279

时间

（S）

0.0740

0.0750

0.0X1]

0.0«

32

O.OS53

0.0802

0.0985

0.0885

表1：

MP算法采样率对重构时间和误差的影响

表1中测量了不同采样率对应的MP算法中重构的MSE和时间的值,从表格中可知，采样率越大，重构产生的MSE越小，重构的图形越接近原始图形，但是时间也会增大，增加了计算的复杂度。

下面我们再看一下采样率的不同对lena信号的影响，可以用采样率为0.30.50.8这三个采样率，对比一下采样率的不同重构出来的图片的清晰度。

图3的（a）图是原始图片，（b）为采样率为0.3时的重构图，（c）图是采样率为0.5时的重构图，（d）图是采样率为0.8时的重构图。

（c）MP重构图片（M/N=0.5）（d）MP重构图片（M/N=0.8）

图3：

MP重构的不同采样率的lena重构图形

由图3中的四个图片可知，采样率越大，重构的图形效果越好，在应

用的时候要想获得很好的重构图片就需要较高的采样率，但是所需要

的时间也会越大。

1.2采样率对OMP算法的影响

和MP算法一样，也是先对一维信号重构进行分析，表2是OMP算法中采样率对重构的MSE和时间的对应表格：

0J

0.3

G.4