压缩感知的重构算法Word文档下载推荐.docx
《压缩感知的重构算法Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《压缩感知的重构算法Word文档下载推荐.docx(29页珍藏版)》请在冰豆网上搜索。
![压缩感知的重构算法Word文档下载推荐.docx](https://file1.bdocx.com/fileroot1/2022-11/22/f7636867-8760-494d-a0ae-2f7dffd92efa/f7636867-8760-494d-a0ae-2f7dffd92efa1.gif)
l=supl<
y,]>
1
(1)
10畑”.」)
其中,,表示字典矩阵的列索引。
先将信号y投影到向量.-
上,信号y也可以表示为:
yn°
\Ri⑵
(2)式等号右边的第一项为观测矩阵中最匹配原子;
:
.的垂直投影分
10
量,等式右边的第二项R1是y通过1分解后的残差,且与y正交。
1f0
(2)式可以写为:
222
IMITy,:
0丨IIR1II(3)
对残差Rl进行上面同样的分解,在第n次迭代过程中:
FTR’m+Ri(4)
因为Rn和、正交,则(4)式可以表示为:
n
IlRn||十Rn,」IIRnill(5)
最后,信号y可以表示为:
y—y,Rm(6)
i=0一i一j
因为最后的残差R计正交于上次迭代产生的残差Rn,则最后的表达式为:
2n22
IM严目,古MlRdl(7)
l=o1
由(7)式可知,当残差Rn1为零时,可以得到信号的精确分解。
定理i[3]存在_0,使得一切对于n-0时,有
iirj卜2nIIyI成立。
这样(7)式中,IIRnji按照指数衰减的形式趋于零,也就是
2n2
||y||[Jy「i1成立。
参考文献:
[1]曹离然•面向压缩感知的稀疏信号重建算法研究.[D]•哈尔滨工业
大学,2011.
[2]Y.C.PATI.OrthogonalMatchingPursuit:
RecursiveFunction
ApproximationwithApplicationstoWavelet
Decomposition」EEE.1993:
40-44
[3]韩红平•压缩感知中信号重构算法的研究.[D].南京邮电大学,2012.
1.2MP算法的理论框图
根据上面的MP算法的原理,得出MP算法的理论图[1],这样更容易理解
开始
图1:
MP算法框图
[1]韩红干.压缩感知中信号重构算法的研究[D].南京邮电
大学,2012
1.3MP算法的算法流程
根据1.2中介绍的MP算法的理论框图,现在写出MP算法的算法流程[1][2],这样让我们对MP算法有一个更加清晰的理解。
输入:
测量矩阵:
(MN),测量向量y(N1),稀疏度k
输出:
重构信号x
(1):
初始化余量「0=『,迭代次数n=01;
(2):
计算余量与测量矩阵的每一列的内积gn»
-Trn‘;
共有N个内积数值。
⑶:
找出N个gn中的绝对值最大的元素gn(k),k为对应的最大内积的列号。
(4):
计算信号的近似解xn[k]=xn"
*[k]+gn[k];
(5):
更新余量「n=广-g〉k]®
k;
(6):
若满足迭代条件,则n=n+1,xn,若不满足迭代条件则返回步骤
(2);
迭代次数为稀疏度的2倍。
[1]LinfengDu,RuiWang.AnalysisonGreedyReconstruction
AlgorithmsBasedonCompressedSensing.[J]」EEE2012:
783-789
[2]文首先.压缩感知匹配追踪算法的研究.[D].2013
1.4MP算法的信号重构
本节分别通过对一维离散信号,二维Lena为例,进行MP算法
的信号重构
(1)一维离散信号的MP算法仿真
本次仿真使用matlab随机生成的一维离散信号,稀疏度k=23,信号长度N=256,观测向量的长度M=80,那么采样率M/N=0.3,其中的观测矩阵门是高斯随机矩阵。
采用MP算法对一维信号进行重构,重构图如1:
图1:
MP算法重构一维信号
通过上面的重构可以得出,MP算法对一维信号有很好的重构效果。
(2)二维lena图像的MP算法重构
我们上面的研究知道MP算法对一维信号有很好的重构作用,但是算法不只是要在一维信号中有好的重构功能,还要能很好的
重构二维信号才可以,这样应用的范围才会更大。
我们知道压缩感知重构的是可压缩的稀疏信号,二维信号是不稀疏的,这就要在进行算
法重构的时候进行一些处理,我们可以先采用离散余弦变换(det)
使数据稀疏,算法重构结束之后再进行离散反余弦变换(idet),这样就转化为了我们所需要的。
本次在matlab中的仿真,我们采用的是
256256的Lena的二维图像,M=180,N=256,稀疏度k=40,
M/N=0.7,观测矩阵是高斯随机矩阵,采用MP算法对二维图像进行重构,重构效果如图2(b):
(a)原始图片(b)MP算法重构
(M/N=0.7)
通过上面的(a)图和(b)图可知,采样率为0.7的时候,MP算法也能对二维图像进行精确重构。
2.正交匹配追踪算法(OMP)
2.1OMP算法的原理
OMP算法是在MP算法的基础上进行改进的,沿用了MP算法的重构的思想,但是又对MP算法进行了改进,使得算法的效率更高,应用更加的广泛。
MP算法的信号分解中步骤中介绍:
y-:
y®
厂人厂亠Ri,这说
..0,・0
明信号在已经选择的原子上的投影(等是右边第一项)是非正交的,还存在着残差,也就是说每次迭代的过程是次最优的,不是最优解,要想最终的迭代收敛,需要的迭代次数较多。
OMP算法就是根据MP算法的不足之处加以改进,把所选择的原子首先通过Schimidt正交化处理,使得在达到迭代条件的时候需要的迭代次数较MP算法少,但
是正交化的过程中会增加计算量。
在每一步中如何对选择的全部原子进行正交化处理呢?
这是
OMP算法和MP算法的不同之处。
下面介绍OMP算法正交化原理[1]:
信号y经k步分解:
(1)
r+Rk且CRk,®
「>=0,n=1,…,k
-nn
(1)式和MP算法的不同在于,MP算法是残差和前面的一个分量正交,而OMP算法是残差和前面的每个分量都正交
k+1步分解为:
k1k仁
y—'
anRk1且Rk1^0n=1,…,k+1
(2)
n=1'
n一n
k+1阶减去k阶:
k1.:
nW
a1
要想对选择的全部原子进行正交化处理,要求(3)式等于零。
测量
矩阵的原子不正交,为了说明(3)式等于零,下面引入一个辅助模
型,模型表示的是「对前k个项「(n=1,…,k)的依赖,数学
「叶rn
语言描述如下:
kk
9r=zb^\+rk且<
r「「>
=0,n=1,…,k⑷
-n1nd-n-n
:
在Cr…,,k)上张成的正交投影,等式右边的第二项是残差,(4)
-k1
式代入(3)式中:
kk1kk1kk1
乞G一an*a“bn)J+(aMk*Rk"
°
n占一n
如果(6)和(7)式成立,则(5)式必然成立,
k1kk1k
an-anak^bn〜0
k1
ak忙Rk1—Rk=°
人k41-若
令ak厂ak,有:
k1kk
an=a_akbn二1,…,k
ar「R1R=°
n=h…,k
(5)
(6)
⑺
(8)
(9)
(8)和(9)两式成立,以上就是OMP算法进行正交化的过程
参考文献:
[1]Y.C.PATI.OrthogonalMatchingPursuit:
2.2OMP算法的流程图
和上面的MP算法一样,我们同样画出OMP算法的流程图,可
以让我们更加清晰的理解算法
图:
OMP算法的流程图
2.3OMP算法的算法步骤
和MP算法一样,我们也在给出OMP算法的流程图之后,再给出OMP算法的算法步骤[1][2]。
感知矩阵叮-(MN),测量向量y(N1),稀疏度K
A
重构信号X
(1)初始化余量「0二y,迭代次数n=0,重建信号Xo=O,索引集
"
[];
(3)找出gn中绝对值最大的元素;
(4)更新原子组合._{:
k}和新索引集:
^li--nJ{k};
(5)利用最小二乘法计算信号的近似解:
Xn=(>
Tn「n)>
(6)计算更新余量:
「n二y—"
xn;
(7)更新迭代次数n=n+1,若满足迭代条件,则X二Xn;
若不满足迭代的的条件则返回
(2),继续进行迭代;
参考文献[1]文首先.压缩感知匹配追踪算法的研究.[D].2013
[2]Y.C.PATI.OrthogonalMatchingPursuit:
上面提到最小二乘法,首先我们先较少一下什么杀死最小二乘法,
然后再说明一下为什么OMP算法可以用最小二乘法就信号的解。
名词解释:
最小二乘法
最小二乘法(最小平方法)是一种数学优化技术,它通过使数据
误差的平方和最小来寻找数据的最佳函数匹配。
最小二乘准则:
使全部样本观测值的残差平方和达到最小。
即
=(oJ1,・・・,〉k),未知参数的估计为
-2
ot
其中,Yi是第i次的样本观测值,Yi为相应的第i次的样本估计值,
|AA
e=l*,对上式进行求导,以便得到最小二乘估计
e一
值:
Q:
'
A'
A
—(Y^2aXYJXXG)=-2XY+2XX—0©
a
AJ
移项可得,x'
x〉二xy,在这里我们假定(x'
X)存在,用(x'
x)左乘上式的;
两边,得到〉的最小二乘估计量,=(x'
x/x'
y,这个公式也就是OMP算法步骤中的步骤(5),以上就证明了最小二乘法估计OMP算法的方法。
2.4OMP算法的信号重构
本节对OMP算法进行重构,采用一维离散信号和二维lena信号对其进行信号重构,来观察OMP算法的重构功能。
(1)一维离散信号的OMP算法仿真
本次仿真使用matlab随机生成的一维离散信号,稀疏度k=15,信号长度N=512,观测向量的长度M=128,那么采样率M/N=0.25,其中的观测矩阵“是高斯随机矩阵。
采用OMP算法对一维信号进行重
通过上面的重构可以得出,OMP算法对一维信号有很好的重构作用。
(2)二维lena图像的OMP算法重构
OMP算法对二维信号进行重构,在这里我们采取和MP算法二
维信号重构的方法,也是先采取离散余弦变换(dct)使数据稀疏,
算法重构结束之后再进行离散反余弦变换(idct),这样就转化为了我
们所需要的。
本次在matlab中的仿真,我们采用的是256256的
Lena的二维图像,M=180,N=256,稀疏度k=40,M/N=0.7,观测矩
阵是高斯随机矩阵,采用OMP算法对二维图像进行重构,重构效果
如图2(b):
(a)原始图像(b)OMP算法重构图片
通过上面(a)图和(b)图的重构可知,采样率为0.7的时候,
OMP算法也能对二维信号很好的重构。
3基追踪算法(BP)
压缩感知中很重要的一步就是重构算法,重构算法关系着重建信号的质量。
基追踪算法是凸松弛法是很有代表性的一种算法。
3.1凸松弛法介绍
凸松弛法是信号在重构的过程中把重构问题由|0范数问题转化为了
h范数的凸优化问题。
下面首先介绍几个涉及到的概念
凸优化:
定义域是闭合的凸集;
函数是定义域上的凸函数的最优化问题,只有两个条件同时满足才是凸优化。
凸集:
数学定义,D为集合
rWxiXED,讥阿丙塔1。
)府D
凸集的几何意义:
集合中的任意两点连线段都在集。
凸函数:
凸集上的g(x)函数和任意的实数>[0,1],Xl,X2D,使g(:
Xl(1「)X2)「g(Xl)(1-:
)g(X2)成立,g(x)就是凸函数。
下面介绍一下0范数为什么可以用11范数进行求解,可以用|2范数进行求解吗?
首先给出这三个范数的统一的数学表达式:
山叫卜TX||ps.t.Y"
甲TXP=0,1,2
将三种范数投影到二维空间中,直线Y八:
-?
TX在二维空间中是一条直线,图1是三种范数在二维空间构成的图形和直线之间的直观图。
三种范数与直线的关系图
其中(a)是|0范数与Y八TX直线关系图,(b)是11范数与
Y-:
J■■/X直线关系图,(c)是12范数与丫-:
-:
j■■/X直线关系图。
由(a)图可知,|0范数在二维空间中是沿着坐标轴的两条垂直的线,直线向坐标原点逼近的时候首先是和坐标轴相交,这也就是我们所要
求的稀疏的解;
由(b)图可知,h范数在二维空间中的图形是一个如(b)图的菱形,排除直线和菱形的一条边平行的情况,直线向菱形逼近的过程中,首先相交于菱形的四个点,也就是坐标轴上的点,这也就是我们所要求的稀疏的解;
由(C)图可知,|2范数在二维空间中的图形是圆形,直线向圆形逼近的时候,直线和圆相交的点几乎都不在坐标轴上,只有直线和坐标轴平行的小概率的时候。
通过上面的介绍可以知道,可以用11范数来代替I。
范数进行求解。
3.2BP算法的原理
上节提到的|0范数,由于我们所要求解的问题是方程的个数远远大于未知数的个数,用|0范数求解是很难求解出来的,这样就找到一种用h范数来代替|0范数求解的方法,BP(BasisPursuit)算法就是利用|1范数求解的一种很好的方法。
BP算法不是直接寻求信号的稀疏表示,只是表示的用于最小化的|1的系数[1],通过等价信号的最小化的‘范数表示[2]。
下面介绍BP算法的原理。
BP算法中|0范数的模型为:
x=mirJlxll。
s.t.y=>
X
(1)
Io范数是稀疏变换中不为零的个数,
(1)式的求解比较困难,通过上面的说明,l0范数可以用'
范数进行代替,则
(1)式可以表示为:
x=min||x||s.t.厂①X
(2)
(2)式表示的是理想的一种情况,在实际的应用中,会混入噪声,也就是:
y二:
jxnoise(3)
那么
(2)式可表示为:
x=m^n||X||s.t.Ily-f;
(4)
(4)式中;
为噪声的能量。
由于实际模型中会混入噪声,这就需要一种抑制噪声的模型,也就是改进后的BP算法,改进后的BP算法
对噪声有一定的抑制作用,那么改进后的模型为[3]:
mxin(1/2)||y-①x|2+K||x||(5)
其中,(5)式的第一项是信号经观测矩阵之后的观测值,式子的第
二项是噪声产生的观测值,表示观测值中中非零元素的位置。
BP
算法中就把凸松弛算法转化为了线性规划问题求解,则(5)式可以
转化为[1][3]:
(6)式中,
Zucker.GreedyBasis
[1]PatrickS.Huggins,StevenW.
Pursuit.lEEE.2007,55(7):
3760-3772
[2]S.S.Chen:
BasisPursuit'
Ph.D.dissertation,Dept.StatisticsStanford
University,Stanford,CA,1995.
[3]文首先.压缩感知匹配追踪算法的研究.D.2013
3.3BP算法的信号重构
本节对BP算法进行重构,采用一维离散信号和二维lena信号
对其进行信号重构,来观察BP算法的重构功能。
(1)一维离散信号的BP算法仿真
本次仿真使用matlab随机生成的一维离散信号,稀疏度k=30,信号长度N=1000,观测向量的长度M=200,那么采样率M/N=0.2,其中的观测矩阵“是高斯随机矩阵。
采用BP算法对一维信号进行重构,重构图如图1:
BP算法一维信号重构图
由图1可以得到,BP算法对一维信号有很好的重构功能。
(2)二维lena图像的BP算法重构
BP算法对二维信号进行重构,在这里我们采取和MP算法二维
信号重构的方法,也是先采取离散余弦变换(det)使数据稀疏,算法重构结束之后再进行离散反余弦变换(idet),这样就转化为了我们
所需要的。
本次在matlab中的仿真,我们采用的是256256的Lena的二维图像,M=180,N=256,稀疏度k=40,M/N=0.7,观测矩阵是高斯随机矩阵,采用BP算法对二维图像进行重构,重构效果如图2
(b):
(a)原始图像(b)BP算法重构图片
BP算法也能对二维信号很好的重构。
本章小结
本章详细介绍了三种比较典型的重构算法,分别是MP,OMP,BP
算法,介绍了三种算法的原理,还有三种算法对一维信号和二维lena信号的重建功能,得出结论是三种算法都有很好的信号重建的功能
不同算法的比较
上一章中只是对三种算法的原理进行了详细的说明,并用matlab
验证三种算法可以对信号进行很好的重构,没有对算法进行分析,即
采样率的不同对算法的影响和对lena信号重构的清晰度的影响。
在这一章中,就对三种重构算法进行分析。
1采样率对三种算法的影响
1.1采样率对MP算法的影响
我们先看一下采样率对一维信号的影响,首先用重构图来直观的区别一下,表1是MP算法中采样率对重构时间和误差的表格:
采样率
M
02
03
04
0.5
0.6
0.7
0卡
MSE
5.6578
2.2428
1,7904
03125
0.2224
0.0533
0.0476
0.0279
时间
(S)
0.0740
0.0750
0.0X1]
0.0«
32
O.OS53
0.0802
0.0985
0.0885
表1:
MP算法采样率对重构时间和误差的影响
表1中测量了不同采样率对应的MP算法中重构的MSE和时间的值,从表格中可知,采样率越大,重构产生的MSE越小,重构的图形越接近原始图形,但是时间也会增大,增加了计算的复杂度。
下面我们再看一下采样率的不同对lena信号的影响,可以用采样率为0.30.50.8这三个采样率,对比一下采样率的不同重构出来的图片的清晰度。
图3的(a)图是原始图片,(b)为采样率为0.3时的重构图,(c)图是采样率为0.5时的重构图,(d)图是采样率为0.8时的重构图。
(c)MP重构图片(M/N=0.5)(d)MP重构图片(M/N=0.8)
图3:
MP重构的不同采样率的lena重构图形
由图3中的四个图片可知,采样率越大,重构的图形效果越好,在应
用的时候要想获得很好的重构图片就需要较高的采样率,但是所需要
的时间也会越大。
1.2采样率对OMP算法的影响
和MP算法一样,也是先对一维信号重构进行分析,表2是OMP算法中采样率对重构的MSE和时间的对应表格:
0J
0.3
G.4