完整版QR分解及其应用.docx
《完整版QR分解及其应用.docx》由会员分享,可在线阅读,更多相关《完整版QR分解及其应用.docx(19页珍藏版)》请在冰豆网上搜索。
完整版QR分解及其应用
《矩阵分析与应用》专题报告QR分解及应用——
学生姓名:
卢楠、胡河群、朱浩日月年20151125
1引言..............................................................3
2QR分解...........................................................4
2.1QR分解的性质................................................4
2.2QR分解算法.................................................5
2.2.1采用修正Gram-Schmidt法的QR分解......................5
2.2.2HouseholderQR分解...................................6
2.2.3采用Givens旋转的QR分解..............................8
3QR分解在参数估计中的应用.........................................9
QR分解的参数估计问题................................93.1基于
Householder变换的快速时变参数估计....................3.2基于12
Givens旋转的时变参数估计.............................3.3基于14
4QR分解在通信系统中的应用........................................16
4.1基于QR分解的稳健干扰对齐算法..............................16
MIMOQR置信传播检测器........................14.2基于分解的9
总结...............................................................21
参考文献...........................................................22
1引言
矩阵分解是指将一个矩阵表示为结构简单或具有特殊性质的若干矩阵之积或之和,大体上可以分为满秩分解、QR分解和奇异值分解。
矩阵分解在矩阵分析中占有很重要的地位,常用来解决各种复杂的问题。
而QR分解是工程中应用最为广泛的一类矩阵分解。
QR分解是目前求一般矩阵全部特征值的最有效并广泛
应用的方法,一般矩阵先经过正交相似变换成为Hessenberg矩阵,然后再应用QR分解求特征值和特征向量。
它是将矩阵分解成一个正交矩阵Q与上三角矩阵R,所以称为QR分解。
参数估计是在已知系统模型结构时,用系统的输入与输出数据计算系统模型参数的过程。
它在系统辨识和无线通信领域有着广泛的应用。
18世纪末德国数学家C.F.高斯首先提出参数估计的方法,他用最小二乘法计算天体运行的轨道。
20世纪60年代,随着电子计算机的普及,参数估计有了迅猛的发展。
参数估计有很多方法,如矩估计、极大似然法、一致最小方差无偏估计、最小风险估计、同变估计、最小二乘法、贝叶斯估计、极小极大熵法等。
其中最基本的是最小二乘法和极大似然法。
本文将重点介绍QR分解及其在参数估计和通信系统中的应用。
2QR分解
2.1QR分解的性质
m?
nm?
n和,则存在列正交矩阵QR分解)若,且定理2.1.1(n?
mRQ?
R?
Am?
nQQRA=是正交矩阵。
如果。
当是非上三角矩阵使得时,Anm?
RR?
n?
nQRR和的所有对角线元素均为正,并且在这种情况下矩阵,则奇异的Q和取复值。
二者是唯一的。
若是复矩阵,则RATTTR=RA=(QR)A(QR)T是,因此可以得出结论:
注意到的TR=GAACholelskeyR因子。
由于这个原因,在关于估计的文献中,矩阵下三角常称为
平方根滤波器(算子)。
下面的引理称为矩阵分解引理,它在矩阵的QR分解的应用中是一个很有结果。
m?
nBA是任意两个2.2.1若矩阵,则和引理(2.1.1)HHBA=ABmm?
Q酉矩阵当且仅当存在一个,使得
B=QA(2.1.2)
QA=BQ是酉矩阵,并充分性证明:
若且,则证明
HHHH。
AQAQB=B=AAAB的奇异值分解分别为和必要性证明:
令
HVU?
A=AAAHV?
B=UBBBn?
nm?
mm?
nUUVV矩都是酉矩阵;酉矩阵;式中,和而均为和BABA?
?
AB的非负奇异值。
由于分别包含了矩阵阵和和BAHHHAA=V?
?
VAAAAHHHBB=V?
?
VBBBBV=V?
?
?
和,则有。
定义矩阵若HHB=AABBABA.
HU=UQABHHHHB?
=UV=UQA=UA=UUU?
V易知BABBAAABBA[10]这就证明了引理的必要条件。
分解算法2.2QRGram-Schmidt法的QR分解2.2.1采用修正正交分解可以利用Gram-Schmidt正交化方法实现。
Gram-Schmidt矩阵的QRA,...,aa,a的向量化方法原本是一种由n个向量构造互相正交且范数为1n12q,...,qa,qq的方法。
将向量标准正交化的结果取作,即1n121?
aR?
?
111(2.2.1)
?
Rq?
q?
?
1111qaa,然后,从中除去与再进行标准正交化,平行的向量,并将结果取作221则有H?
a?
qR2121?
R?
Ra?
q(2.2.2)
?
122221?
R?
q?
(aqR)?
2212122aaa平行的两个分量,再进行标准正交化,并使用除去与和进而,又从231q该结果作,即有3H?
aqR?
3131?
HaR?
q?
3232(2.2.3)
?
RR?
q?
?
Raq?
232133133?
R?
R?
aqq)R(?
q?
3322333131q(2?
k?
n)如此继续,则对于有k
?
?
H1?
?
kR?
q,1a?
j?
kjjk?
1?
k?
?
Rqa?
R?
(2.2.4)
?
jkjkkk?
1j?
?
1k?
?
?
Rq?
(a?
)qR33kjkjk?
?
1?
jq是标准正交基,即满足容易验证,iH?
?
qq(2.2.5)
ijji?
aa...a?
n?
m则其中,,为Kronecker函数。
如果令的列向量矩阵Anij,,1,2q...qqQ为列向量的矩阵之间有下列关系:
以与An1,,2,QRA=(2.2.6)
q又由于组成标准正交基,所以iHIQQ=nQ正交化的方法叫做经典重写在同一矩阵,应用以上Gram-Schmidt将与A[6]。
Gram-Schmidt正交化法2.2.2HouseholderQR分解n?
m其原理是使用变维Householder变换可以实现任意分解,的QR矩阵A0变换,使得该向量除第一个元素外,其他元素皆为。
向量的HouseholderTp?
?
x,...,,x?
xx的Householder根据变换的相关知识,欲使一个维向量?
?
p12p,则维的Householder向量应取第1个元素后面的所有元素变为0?
ex?
1?
w(2.2.7)
?
?
)(x?
1式中
x?
?
1x?
?
?
xx,?
(2.2.8)
1x1m?
nA的列分块形式为假定矩阵
?
?
aa?
Aa...?
?
n,2,1,n?
m
Tm?
p?
?
aaa...x?
a?
,并取,首先令,则按照式(2.2.7)和式(2.2.8)?
?
1,21,111,mwu?
可以计算得到。
此时,m1T
(1)
(1)
(1)?
?
aa,...A?
HA?
aH?
I?
uu,?
(2.2.9)
?
?
n1111211?
?
21
(1)A222aa?
a?
...?
a,而该的第1列变换后,矩阵的第一个元素等于1111121m0。
列的其他元素全部为1m?
p?
(1)Aa和列第二步针对矩阵,令的第212T
(1)
(1)
(1)?
?
?
...,axa,a?
?
2m22320?
?
w?
u,。
此时,取求出(m-1)维向量又可按照式(2.2.7)和式(2.2.8)?
?
1m?
2w?
?
1m?
又可得到T
(2)
(1)
(2)?
?
a,,?
...a,auuA?
A?
HA?
HHH?
I?
(2.2.10)
?
?
n2212211222
(1)AAa的第一个元素等列的第1列相同,变换后,矩阵而第的第1列与2121?
?
21222
(1)
(1)
(1)
(1)a,第二个元素等于于,而该列的其他元素全部为aa...a?
?
?
1223222m。
0AHA使得Householder变换矩阵,类似地,又可针对矩阵的第3列设计232T
(2)
(2)
(2)?
?
aax?
...,a,变维向量的第一、二个元素保持不变,其他元素组成的m-2?
?
3m4333换为除第一个元素外的全部元素变为0。
假定矩阵经过k-1次Householder变换后,已变成,即A1)k?
(A(k?
1)(k?
2)?
HHAA...HA?
1k?
11k?
1)?
(k1)(k?
1)(k?
?
?
k=2,3,...,,...,aa,a?
?
?
1n2并且其前k-1列具有以下变换结果:
T1)k?
?
1)
(1)(k?
(k?
?
j=1,2,...k-1a,0,...,0,?
...,aa?
?
jj1jj因此,第k次Householder变换的目的就是保持前k-1列不变,实现列第1)k?
(Ak列的下述变换:
(k?
1)?
?
)k(a?
?
a,kk,kk?
?
?
?
1)k?
(a0?
?
?
?
%k1,k?
H?
?
?
k?
?
MM?
?
?
?
1)(k?
a0?
?
?
?
?
?
k,m
(k?
1)AH变换时取这相当于对矩阵进行Householder1)?
(kAk0I?
?
k?
1?
H?
?
%k0H?
?
kn次Householder变换后,即可实现QR分解。
2.2.3采用Givens旋转的QR分解
4?
3分解。
这里以矩阵为例,说明GivensQR旋转也可以用来计算GivensQR分解的思想:
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
0?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
(3,4)(2,3)(1,2)(3,4)?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
0?
?
?
?
0?
?
?
?
?
?
?
?
?
?
?
?
0?
?
0?
?
0?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
0?
?
?
00?
?
?
?
?
?
?
?
(3,4)(2,3)?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
0?
0?
000?
?
?
?
?
?
?
00?
000?
00?
?
?
?
?
?
?
表示用Givens其中,旋转进行变化你的元素。
G代表约化过程中的第j次Givens从上述说明中易得出结论:
如果令旋转,jQ=GGLGT,而t则是上三角矩阵,其中是总的旋转次数。
RQA=1tt-1
3QR分解在参数估计中的应用基于分解的参数估计问题3.1QRQR分解进行系统参数的递推估计。
现在以系统辨识为例,说明如何利用矩阵的?
?
kxk时刻的输入为令系统在,系统输出的观测值由卷积方程p?
?
?
?
?
?
?
?
?
?
?
?
?
T?
?
kike?
x?
ke?
θ?
ekk?
x?
x?
k?
y(3.1.1)
ik0i?
?
kek?
给出,其中,表示离散卷积,代表时刻的观测误差,且T?
?
?
?
?
?
p?
k?
1k,xx?
Lk,,xx?
?
?
?
k(3.1.2)
T?
?
?
θ?
?
L,,?
?
?
p01n,1,2,Lk?
若将的所有观测数据组成一向量,则
e?
?
Aθy(3.1.3)
nnnTT?
?
?
?
?
?
?
?
?
?
?
?
n1e,eL2,e?
yye1,y?
2y,L,,n?
?
?
?
,,,式中?
?
?
?
nnT?
?
?
?
?
?
nx,L?
Ax1x,,2?
?
。
?
?
n?
?
?
?
kxyk,其中,和输出观测值系统辨识问题的提法是:
已知系统输入n,2,L,k?
1θ[7]。
在时变系统的辨识中,则要求在已估计,估计系统参数向量?
?
?
?
θ1,y?
x?
n1nn值,通过简的情况下,使用增加的时刻的系统参数向量n?
n1?
n时刻的系统辨识问题可以单的运算,递推出。
时刻的系统参数向量1n?
简化为最小二乘问题2y?
θminA(3.1.4)
nnn2θn求解,并且其解由“法方程”TTrθAAθR或?
yA?
(3.1.5)
nnxxnnnnn
?
?
TTkxyrA?
AR?
A代表系统输入确定。
式中,的协方差矩阵,。
nxxnnnnR的方法叫做协方差方法。
例如,先计算协方差矩阵(3.1.5)直接求解式xxCholeskyT1?
TGGR?
R?
GGθ直接,的然后利用回带法解三角矩阵分解xxnnθTAAR?
A的条件数的平方,因此,直。
然而,由于的条件数是得到nnnxxnA本接计算式(3.1.5)的得到的解有可能是严重病态的(即条件数很大),即使n身的条件数并不大,不是严重病态的。
?
?
RLSθ法和在系统参数向量的自适应递推辨识中,标准的递推最小二乘
RTT进行更新的。
分解法都是针对协方差矩阵分解(其中,虽然DUUUDUxxUD为对角矩阵)在数值上比较稳定,但是这些递推辨识方为上三角矩阵,
法也同样存在条件数变大的毛病。
QRA的分解可以保持原问题的条件数不变。
不妨令相比之下,nR?
?
nT?
QA(3.1.6)
?
?
nnO?
?
?
?
?
?
RQ1p?
1p?
?
nn?
O为正交矩阵,是是式中,上三角矩阵,而nn?
?
?
?
1?
?
pn?
p?
1维零矩阵。
Euclidean(3.1.4)由于正交变换可以保持被变换向量的所以式长度或范数不变,的最小二乘问题可等价写作2TTyQminQAθ?
(3.1.7)
nnnnn2θn或22%
?
?
yyθminR(3.1.8)
nnnn2θ2n式中?
?
ynT?
Qy?
?
(3.1.9)
nn%y?
?
?
?
n%?
?
?
?
T?
1?
p1n?
p1?
1yQyy直接分块向量,它们可以从且为向量,为nnnn得到。
.
?
?
2nn?
1/θyθy?
R次一旦获得了,即可由。
解此方程需要得到nnnn2%y。
计算,并且最小残差值等于n2?
?
?
?
1n?
1?
xyn我们来讨论如何更新系统参,假定增加了两个已知数值和θ1n?
时刻的新估和简单的运算,得到数的估计,即使用已估计的参数向量n?
?
?
?
θkxyk采取对数据和计。
为了减少过去数据数据对参数估计的影响,1?
n1?
n指数加权,即时刻的数据矩阵和观测数据向量分别取作
?
?
yA?
?
?
?
nn?
A?
y(3.1.10)
?
?
?
?
?
?
1n?
n?
1T1?
ynx?
?
?
?
1n?
T?
?
?
?
?
?
?
1?
0?
p,x?
xxn?
1?
xnn,L?
?
。
于是,称为遗忘因子,且式中,?
?
1n?
?
?
1n?
可以写出式(3.1.4)在时刻的形式为
2yAθθ?
argmin?
1n?
n?
1n?
12θ2(3.1.11)
?
?
yA?
?
?
?
nnθ?
argmin?
?
?
?
?
?
?
T1n?
yxθ?
?
?
?
1n?
2乍一看,上式似乎没有什么特别吸引人之处,其实不然。
这是因为,如同下面的而后者非常适引理所述,式(3.1.11)的极小化变量等价为下述式的极小化变量,合于递推更新。
?
?
Ry?
?
nnTRQ?
QyQA?
?
?
,若,其中,是正交矩阵,3.1.2r是引理?
?
nnnn%nnOy?
?
?
?
?
?
n的极小化变量等同于下式的极小化变量:
上三角矩阵,则式(3.1.11)2yθAθ?
min?
arg1n?
11?
nn?
2θ2(3.1.12)
?
?
yA?
?
?
?
nnθ?
min?
arg?
?
?
?
?
?
T1?
ynxθ?
?
?
?
1n?
2证明见[]。
θθ的自适应,则以上讨论可总结为如果将式(3.1.12)的极小化变量记作1n1n?
?
递推估计算法如下。
(系统参数的自适应估计算法)1算法.
?
R?
?
nQR?
R分解,得对矩阵进行步骤1?
?
Tx?
?
1?
n?
RR?
?
?
?
n1n?
TTR?
QQ?
(3.1.13)
?
?
?
?
11n?
n?
TxO?
?
?
?
1n?
?
?
?
?
?
?
?
?
RQ1?
1p?
?
n?
11p?
?
n为是正交矩阵,式中,上三角矩阵,1?
?
1nn?
?
?
?
1?
?
pp?
nO零矩阵。
且是
步骤二进行分块运算
?
?
y1n?
T?
yQ?
?
(3.1.14)
1?
n?
1n%y?
?
?
?
1n?
%?
?
?
?
?
111pn?
p?
?
yy向量,其中,为为向量。
n?
n?
11θyθ?
R。
切结三角矩阵方程得到步骤三1n?
1n?
1?
n1n?
3.2基于变换的快速时变参数估计Householder?
?
1?
?
pn考察矩阵
aaLa?
?
111?
121,p?
?
aaLa?
?
1?
2,22p21?
An?
?
MMM?
?
aaLa?
?
1p?
n,1n,n,2QRHouseholder分解,即的
***?
?
aaaL1,11p12?
1?
?
**aL0a?
?
1?
2,22p?
?
MMM?
?
*?
AHaL00(3.2.1)
?
?
nn1?
p?
1,p?
?
00L0?
?
MMM?
?
?
?
000L?
?
pQRHouseholder变换即可。
换言之,为了得到上述分显然,只需要进行次
pHHouseholder变换矩阵之积,即解,应该选择个为n
?
?
?
?
?
?
1LHp?
H?
H1pH(3.2.2)
nnnn式中?
?
T?
j?
1,2,LH,jp?
I?
uu/(3.2.3)
jjjnT?
?
?
?
?
?
?
?
?
?
?
?
?
?
jjjjj?
?
AHA1j?
12HH?
列向量是对矩阵第进行的a,,a,La?
?
nnnnnnjjj21Householder变换矩阵,其参数选择方法为
?
?
?
2n?
?
?
?
j?
?
?
a?
?
?
?
ijjji?
?
?
?
?
?
?
j?
?
?
pL,,j?
?
?
a1,2,(3.2.4)
?
jjjjj?
?
?
j0,i?
?
?
?
?
?
?
?
?
?
?
?
jj?
?
j?
a?
sgnia,iu?
?
jjjjjj?
?
?
?
?
jj?
a,i?
?
?
ij其中
?
?
?
?
jj?
1Tqu?
?
AA(3.2.5)
jjnn并且?
?
jTT?
/?
uqA(3.2.6)
jjjnQRHouseholder分解算法如下:
递推的
QR分解的自适应参数估计算法一般由两个分开的过程组成:
(1基于)递推更新QRTR;
(2)用回代法求解三角矩阵方程。
由分解中的上三角矩阵RQ?
A?
?
2mOmHouseholder变为数据长度)。
于直接的回代需要因此,即便次运算(
?
?
2mO换再快速,整个自适应算法也至少需要次运算。
文献[]将上述快速QRHouseholder分解算法和求解三角矩阵方程的回代法综合起来考虑,提出了
?
?
mO复杂度的快速自适应算法。
只具有.
Givens3.3基于旋转的时变参数估计
δθ,而不是直接递推求现在考虑另外一种递推方法,递推求解的变化量nnθ本身。
换句话说,令1n?
δ?
θθ?
(3.3.1)
nn?
1nδ问题是如何更新。
n°假定正交矩阵为已知,它满足Q?
RR?
?
?
?
°n1n?
?
Q(3.3.2)
?
?
?
?
TxO?
?
?
?
1?
nδ易知,是下式的极小化变量:
由式(3.1.11),式(3.3.1)和式(3.3.2)n?
?
?
?
?
?
RR?
y?
?
?
?
?
?
°°nnnθQδQδ?
?
?
argmin(3.3.3)
?
?
?
?
?
?
?
?
?
?
nnnTTxx1yn?
δ?
?
?
?
?
?
?
?
?
?
n1n?
1n?
此式又可化简为0R?
?
?
?
°1n?
δδQ?
?
argmin(3.3.4)
?
?
?
?
?
?
nn1un?
0δ?
?
?
?
n?
?
?
?
Tδθx?
nu?
n?
11?
y式中,可以从三角矩阵方程。
因此,nn1n?
Rδ?
y(3.3.5)
n1n?
1n?
y满足解出,其中,1?
k?
?
0?
?
y°1n?
?
Q(3.3.6)
?
?
?
?
?
?
?
?
1?
un1?
rn?
?
?
?
°Givens平面旋转进行清零,将式为了求出满足式,可以使用(3.3.2)的Q°Tx的全部元素变成零。
中的行向量由于所以必须左乘式(3.3.6),(3.3.2)Q1n?
对增广的矩阵
?
R0?
?
n(3.3.7)
?
?
?
?
T1?
uxn?
?
1n?
[5]:
执行所需要的清零。
综合以上分析,在每一步递推更新中需要的步骤如下
T?
?
?
y;
(1)计算预测误差kk1k?
1?
?
?
?
?
1?
n?
1n?
中的(3.3.7)矩阵;
(2)形成式nGivens个元素扫除为零;)利用一系列旋转将上述矩阵最底一行的左边3(?
。
)解上三角矩阵方程(3.3.5)得到(4kAθ?
yGivens利用的递推最小二乘算法的程序见文献旋转求解方程[]。
该算°yGivens。
应用旋转,因此无需存储正交矩阵法中,同时对矩阵和向量AQ
4QR分解在通信系统中的应用QR分解的稳健干扰对齐算法4.1基于N,每个接收端的天线MIMO用户干扰信道,每个发送端的天线数为考虑Kt?
?
Nd,L,d,d,此处的自由度代表每个用数为,每个用户对应的自由度为rk21即,最大值自由度达到数立据流个数。
为了让系统户能使用的独Kmin(N,N)2,那么每个发送端所提供的信号空间的维数应该相等,故此处trd?
d?
Ld?
d,并假设在同一时刻同一频率上的各个发送接收对之不妨设K12间的信道是平坦衰落的,且信道系数独立同分布。
在一个特定的时频资源上,接i的接收信号可以表示为收端
K?
HWsHWs?
?
ny?
(4.1.1)
ijjiiiiijii?
?
1,jjjHHN?
Nii到接收端和的和的信道矩阵。
其中维数为分别是发送端jiiitrjjWWii和对应接收端分别是发送端的预编码矩阵,且满足和和jiHHWW?
Is1d?
IW?
Wi的下行数据矢量信。
维数为的,是接收端djjiidiijiH?
?
N?
1n)si?
P(sE是均值为0,方差为的。
维数为且满足功率约束号,1?
?
iriiH?
?
?
InnE的加性高斯白噪声噪声,且。
?
?
NiirCSICSI常常但在实际通信系统中,干扰对齐往往要求完美的发送端得到,
是有误差的。
为了构建稳健的干扰对齐算法,此处引入信道误差变量H
HH?
HE?
表示具有误差的信道矩阵,并,表示真实的信道矩阵,jijijijiji2?
E,即)的循环对称复高斯分布(0,方差为GSCG且假设的元素服从均值为jie2H?
?
?
IEE?
E变为。
故式满足(4.1.1)?
?
jiejiNrK?
(H?
E)?
)H(?
EWsWs?
n?
y(4.1.2)
ijjjijiiiiiiiiii?
j1,?
j
此时整个系统的联合接收信号可以表示为
yWs
?
?
HHHL?
?
?
?
1112111k1?
?
?
?
?
?
ysW
HLHH?
?
?
?
?
?
222222k12?
?
Y?
?
?
?
?
?
MMMMOM?
?
?
?
?
?
ysWHHHL?
?
?
?
?
?
kKKkk21k