高阶谱 第1章 高阶统计量的定义与性质.docx

1、高阶谱 第1章 高阶统计量的定义与性质第1章 高阶统计量的定义与性质1.1 准备知识1. 随机变量的特征函数若随机变量x的分布函数为F(x)，则称()=Eejx=-ejxdF(x)=e-jxf(x)dx为x的特征函数。其中f(x)为概率密度函数。离散情况：()=Eejx=ekjxkpk,pk=px=xk特征函数()是概率密度f(x)的付里叶变换。 例：设xN(a,2)，则特征函数为()=12-e-(x-a)/222ejxdx令z=(x-a)/2，则()=-e-z+j22z+jadz根据公式：e-Ax-22Bx-Cxdx=Ae-AC-BA2，则2()=e若a=0，则()=e12-2212ja-2

2、。2. 多维随机变量的特征函数设随机变量x1,x2, ,xn联合概率分布函数为F(x1,x2, ,xn)，则联合特征函数为(1,2, ,n)=Eej(1x1+2x2+ +nxn)=-ej(1x1+2x2+ +nxn)dF(x1,x2, ,xn)令x=x1,x2, ,xnT,=1,2, ,nT，则()=ejxTf(x)dXn矩阵形式或 (1,2, ,n)=-j-ekxkk=1f(x1, ,xn)dx1, ,dxn 标量形式其中，f(x)=f(x1,x2, ,xn)为联合概率密度函数。例：设n维高斯随机变量为x=x1,x2, ,xnT,a=a1,a2, ,anTc11c12c1nc= cn1cn2

3、cnncik=covxi,xk=E(xi-ai)(xk-ak)x的概率密度为P(x)=1exp(2)n/2-1(x-a)Tc(x-a)c1/22 x的特征函数为()=expjaT-1 矩阵形式2Tc 其中，=1,2, ,Tn,nn( ,-1n1,2,n)=expjaiiijij 标量形式2Ci=1i=1j=13. 随机变量的第二特征函数定义：特征函数的对数为第二特征函数为 ()=ln()(1) 单变量高斯随机过程的第二特征函数()=lneja-2=ja-122(2) 多变量情形n(1,2, ,n)=jaii-1nniji=1Ciji=1ji=11.2 高阶矩与高阶累积量定义1. 单个随机变量情

4、形 (1) 高阶矩定义随机变量x的k阶矩定义为mkk=Exk=-xp(x)dx (1.1)显然m0=1，m1=Ex。随机变量x的k阶中心矩定义为k=E(x-)=k-k(x-)p(x)dx (1.2)由式(1.2)可见，0=1,1=0,2=2。若mk(k=1,2, ,n)存在，则x的特征函数()可按泰勒级数展开，即n()=1+k=1mkk!(j)+O()kn (1.3)并且mk与()的k阶导数之间的关系为 mk=(-j)kd()dkk=(-j)(0),=0kkkn (1.4)(2) 高阶累积量定义x的第二特征函数()按泰勒级数展开，有n()=ln()=k=1ckk!(j)+O()kn (1.5)

5、并且ck与()的k阶导数之间的关系为k1dck=kln()kjdk1d()=kkjd=(-j)(0),=0kkkn (1.6) =0ck称为随机变量x的k阶累积量，实际上由(0)=1及()的连续性，存在 0，使 时，()0，故第二特征函数()=ln()对 有意义且单值（只考虑对数函数的主值），ln()的前n阶导数在=0处存在，故ck也存在。(3) 二者关系下面推导ck与mk之间的关系。形式地在式(2.3)与式(2.5)中令n，并利用()=1+k=1mkk!(j)kckk=exp(j)k=1k!2 n=1+k=1ck1ck1ckkkk(j)+(j)+ +(j)+ k!2!k=1k!n!k=1k!

6、(1.7)比较上式中各(j)k(k=1,2, )同幂项系数，得k阶累积量与k阶矩的关系如下： 3c1=m1=Ex=c2=m2-m1=Ex-(Ex)33222=E(x-Ex)=2223c3=m3-3m1m2+2m1=Ex-3ExE(x)+2(Ex)22=E(x-Ex)=33c4=m4-3m2-4m1m3+12m1m2-6m1E(x-Ex)=4若Ex=0，则 c1=m1=0 c2=m2=Ex2c3=m3=Ex c4=m4-3m2=Ex-3(Ex)32422由上可见，当随机变量x的均值为零时，其前三阶累积量与前三阶矩相同，而四阶累积量与相应的高阶矩不相同。2. 多个随机变量情形 (1) 高阶矩给定n

7、维随机变量(x1,x2, ,xn)，其联合特征函数为(1,2, ,n)=Eexpj(1x1+2x2+ +nxn)(1.8)其第二联合特征函数为(1,2, ,n)=ln(1,2, ,n)(1.9)可见，联合特征函数(1,2, ,n)就是随机变量(x1,x2, ,xn)的联合概率密度函数p(x1,x2, ,xn)的n维付里叶变换。对式(1.8)与(1.9)分别按泰勒级数展开，则阶数r=k1+k2+ +kn的联合矩可用联合特征函数(1,2, ,n)定义为mk1k2 kn=Exxk11k22xknnr(1,2, ,n)=(-j)knk1k2 12nr(1.10)1=2= =n=0(2) 高阶累积量同样

8、地，阶数r=k1+k2+ +kn的联合累积量可用第二联合特征函数(1,2, ,n)r定义为(1,2, ,n)k11k22ck1k2 kn=(-j)knn=(-j)1=2= =n=0rln(1,2, ,n)1122 nnkkkr1=2= =n=0(1.11)(3) 二者关系 联合累积量ckk12 kn可用联合矩mkk12 kn的多项式来表示，但其一般表达式相当复杂，这里不加详述，仅给出二阶、三阶和四阶联合累积量与其对应阶次的联合矩之间的关系。设x1,x2,x3和x4均为零均值随机变量，则c11=cum(x1,x2)=Ex1x2(1.12a)c111=cum(x1,x2,x3)=Ex1x2x3(1

9、.12b)c1111=cum(x1,x2,x3,x4)=Ex1x2x3x4-Ex1x2Ex3x4-Ex1x3Ex2x4-Ex1x4Ex2x3(1.12c)对于非零均值随机变量，则式(1.12)中用xi-Exi代替xi即可。与单个变量情形类似，前三阶联合累积量与前三阶联合矩相同，而四阶及高于四阶的联合累积量则与相应阶次的联合矩不同。注意，式(1.12)中采用cum()表示联合累积量的方法在以后将时常用到。 3. 平稳随机过程的高阶累积量设x(n)为零均值k阶平稳随机过程，则该过程的k阶累积量ck,x(m1,m2, ,mk-1)定义为随机变量x(n),x(n+m1), ,x(n+mk-1)的k阶联

10、合累积量，即ck,x(m1,m2, ,mk-1)=cum(x(n),x(n+m1), ,x(n+mk-1)(1.13)而该过程的k阶矩mk,x(m1,m2, ,mk-1)则定义为随机变量x(n),x(n+m1), ,x(n+mk-1)的k阶联合矩，即mk,x(m1,m2, ,mk-1)=mom(x(n),x(n+m1), ,x(n+mk-1)(1.14)这里，mom()表示联合矩。由于x(n)是k阶平稳的，故x(n)的k阶累积量和k阶矩仅仅是时延m1,m2, ,mk-1的函数，而与时刻n无关，其二阶、三阶和四阶累积量分别为c2,x(m)=Ex(n)x(n+m)(1.15a)c3,x(m1,m2

11、)=Ex(n)x(n+m1)x(n+m2)(1.15b)c4,x(m1,m2, ,m3)=Ex(n)x(n+m1)x(n+m2)x(n+m3)-c2,x(m1)c2,x(m2-m3)-c2,x(m2)c2,x(m3-m1)-c2,x(m3)c2,x(m1-m2)(1.15c)可以看出，x(n)的二阶累积量正好就是其自相关函数，三阶累积量也正好等于其三阶矩，而x(n)的四阶累积量则与其四阶矩不一样，为了得到四阶累积量，必须同时知道四阶矩和自相关函数。1.3 高阶累积量的性质高阶累积量具有下列重要特性：(1) 设i(i=1,2, ,k)为常数，xi(i=1,2, ,k)为随机变量，则kcum(1x

12、1, ,kxk)=cum(xii=11, ,xk)(2) 累积量关于变量对称，即cum(x1, ,xk)=cum(xi,xi, ,xi)12k其中(i1, ,ik)为(1, ,k)中的任意一种排列。 (3) 累积量关于变量具有可加性，即cum(x0+y0,z1, ,zk)=cum(x0,z1, ,zk)+cum(y0,z1, ,zk)(4) 如果为常数，则cum(+z1,z2, ,zk)=cum(z1,z2, ,zk)(5) 如果随机变量xi(i=1,2, ,k)与随机变量yi(i=1,2, ,k)相互独立，则 cum(x1+y1, ,xk+yk)=cum(x1, ,xk)+cum(y1, ,

13、yk)(6) 如果随机变量xi(i=1,2, ,k)中某个子集与补集相互独立，则cum(x1, ,xk)=01.4 高斯过程的高阶累积量1. 单个高斯随机变量情形设随机变量x服从高斯分布N(0,2)，即x的概率密度函数为 p(x)=故有 ()=ex的第二特征函数为12-x22e222222(1.16)()=ln()=-2利用累积量ck与()的关系式(1.6)，并比较(1.6)与(1.16)两式，可以得到随机变量x的各阶累积量为c1=0 ， c2=2 ， ck=0,由此，我们有下列结论：(1) 高斯随机变量x的一阶累积量c1和二阶累积量c2恰好就是x的均值和方差。(2) 高斯随机变量x的高阶累积

14、量ck(k 2)等于零。 (3) 由于高斯随机变量x的各阶矩为13 (k-1)k,mk=Exk=0，k为偶数k 2k为奇数可见，高阶累积量与高阶矩不一样。由于高斯随机变量x的高阶矩并不比其二阶矩多提供信息，它仍取决于二阶矩的统计知识2，所以人们宁愿选择高阶累积量这一统计量，直接把多余的信息用零来处理。 2. 高斯随机过程情形先讨论n维高斯随机矢量x=x1,x2, ,xnT，设其均值矢量为a=a1,a2, ,anT，协方差矩阵为c11c21c=cn1c12c22 cn2c1nc2n cnn其中cik=E(xi-ai)(xk-ak)i,k=1,2, nn维高斯随机变量x的联合概率密度函数为p(x)

15、=(2)x的联合特征函数为1n/2c1/21T-1exp-(x-a)c(x-a) 2()=expjaT-1Tc 2其中，=1,2, ,nTx的第二联合特征函数为()=ln()=ja-T12nc=jaii-i=1T12nnijci=1j=1ij由于阶数r=k1+k2+ +kn的联合累积量ckk ckk=(-j)rk12 kn可由第二特征函数定义为()1122 nnkkr12 kn1=2= =n=0于是，n维高斯随机变量(x1,x2, ,xn)的各阶累积量为：（1）r=1，即k1,k2, ,kn中某个值取1(设ki=1)，而其余值为零，于是 c0 1 0=(-j)()i1=2= =n=0=ai=E

16、xi（2）r=2，这有两种情况：1）ki(i=1,2, ,n)中某两个值取1(设ki=kj=1,ij)，其余值为零，这时c0 1 1 0=(-j)()ij2=cij=E(xi-ai)(xj-aj)1=2= =n=0ij上式利用了关系式cij=cji。2)ki(i=1,2, ,n中某个值取2（设ki=2），其余值为零，这时c0 2 0=(-j)2()i22=cii=E(xi-ai)1=2= =n=02（3）r3，由于()是关于自变量i(i=1,2, ,n)的二次多项式，因而()关于自变量的三阶或三阶以上（偏）导数等于零，因而x的三阶或三阶以上联合累积量等于零，即ckk12 kn=0,k1+k2+

17、 +kn3由上一节关于随机过程的累积量的定义可知，对于高斯随机过程x(n)，其阶次大于的k阶累积量ck,x(m1,m2, ,mk-1)也为零，即ck,x(m1,m2, ,mk-1)=0,k3(1.17)由于高斯过程的高阶累积量（当阶次大于时）等于零，而对于非高斯过程，至少存在着某个大于的阶次k，其k阶累积量不等于零。因此，利用高阶累积量可以自动地抑制高斯背景噪声（有色或白色）的影响，建立高斯噪声下的非高斯信号模型，提取高斯噪声中的非高斯信号（包括谐波信号）。正因为这样，高阶累积量这一统计量已日益受到人们的重视并已成为信号处理中一种非常有用的工具。因此，文中在今后的算法研究中均代用高阶累积量而不

18、采用高阶矩。1.5 双谱及其性质1. 高阶谱的定义设x(n)为零均值平稳随机过程，则其k阶累积量ck,x(m1,m2, ,mk-1)的(k-1)维付里叶变换定义为x(n)的k阶谱(kth-order spectrum)，即k-1ck,x(m1,m2, ,mk-1)exp-jimii=1(1.18)Sk,x(1,2, ,k-1)= m1=-mk-1=-通常，Sk,x(1,2, ,k-1)为复数，其存在的充分必要条件是ck,x(m1,m2, ,mk-1)绝对可和，即 m1=-ck,x(m1,m2, ,mk-1) mk-1=-高阶谱又称作多谱(Polyspectrum)，通常k阶谱对应于(k-1)谱

19、。例如三阶谱对应双谱(Bispectrum)，四阶谱对应于三谱(Trispectrum)，今后我们大多数采用多谱这一概念。取k=2,3,4时，式(1.18)分别简化为功率谱、双谱和三谱公式，即k=2，为功率谱S2,x()=(1.19) k=3，为双谱cm1=-2,x(m)exp-jm3,xS3,x(1,2)=(1.20)k=4，为三谱cm1=-m2=-(m1,m2)exp-j(1m1+2m2)S4,x(1,2,3)=m1=-m2=-m3=-c4,x(m1,m2,m3)exp-j(1m1+2m2+3m3)(1.21)容易看出，式(1.19)就是维纳-辛钦定理。可见，功率谱也是高阶谱的一种特殊形式

20、。2. 双谱的性质在高阶谱中，双谱处理方法最简单，且含有功率谱中所没有的相位信息，是高阶谱研究中的“热点”。因此下面着重研究双谱及其性质。设x(n)为零均值、三阶实平稳随机过程，其自相关函数和功率谱分别为 rx(m)=c2,x(m)=Ex(n)x(n+m) (1.22)S()=S2,x()=而其三阶累积量和双谱分别为rm=-x(m)exp-jmc3,x(m1,m2)=Ex(n)x(n+m1)x(n+m2)(1.23)3,xB(1,2)=S3,x(1,2)=cm1=-m2=-(m1,m2)exp-j(1m1+2m2)(1.24)由式(1.23)可知，三阶累积量c3,x(m1,m2)具有如下对称性

21、：c3,x(m1,m2)=c3,x(m2,m1)=c3,x(-m2,m1-m2)=c3,x(m2-m1,-m1)=c3,x(m1-m2,-m2)=c3,x(-m1,m2-m1) (1.25)由式(1.24)双谱的定义及式(1.25)三阶累积量的对称性可知：(1) B(1,2)通常是复数，即包含幅度和相位。 B(1,2)=B(1,2)expjB(1,2)(2) B(1,2)是以2为周期的双周期函数，即 B(1,2)=B(1+2,2+2)(3) B(1,2)具有如下对称性B(1,2)=B(2,1)=B*(-2,-1)=B*(-1,-2) =B(-1-2,2)=B(1,-1-2)=B(-1-2,1)

22、=B(2,-1-2) (1.26) 此外，双谱在实际应用中还具有如下重要特性：(1) 高斯过程：如果x(n)为零均值、高斯平稳随机过程，则对于所有m1,m2，都有c3,x(m1,m2)=0，因此B(1,2)=0。(2)非高斯白噪声过程：如果w(n)是具有Ew(n)=0，Ew(n)w(n+m1)w(n+m2)=(m1,m2)的非高斯白噪Ew(n)w(n+m)=Q(m)，声过程，则其功率谱和双谱分别为一直线与一平面，即S()=Q，B(1,2)=。(3) 非高斯白噪声通过线性系统：设线性系统的传递函数为H(z)，系统的2输入为零均值非高斯白噪声w(n)，且Ew(n)=0，Ew2(n)=w，Ew(n)

23、=3w，则系统输出y(n)的功率谱与双谱分别为3S()=wH()22(1.27)*B(1,2)=3wH(1)H(2)H(1+2) (1.28)设 H()=H()expj()(1.29)(1.30)则B(1,2)=3wH(1)H(2)H(1+2)B(1,2)=B(1,2)expjB(1+2)(2.31)B(1,2)=(1)+(2)-(1+2)(2.32)由上可见，双谱的幅度谱和功率谱均由H()决定，因而双谱的幅度谱与功率谱的信息一样多。但功率谱不含相位信息，而双谱则包含相位信息，这就使双谱在信号处理领域得到越来越多的应用，因为有些场合如对图像处理来说，相位信息比幅度信息还重要。(4) 非最小相位

24、系统的辨识 双谱含有相位信息，因此在非最小相位系统辨识中变得十分有用，现用一个简单的例子加以说明。设输入为非高斯平稳白2噪声过程w(n)，它有Ew(n)=0，Ew2(n)=w，Ew3(n)=3w。线性系统为下列三种情形的二阶FIR系统。1) 最小相位系统 H1(z)=(1-az-1)(1-bz-1),系统输出为y1(n)=w(n)-(a+b)w(n-1)+abw(n-2)2) 最大相位系统H2(z)=(1-az)(1-bz) 系统输出为y2(n)=w(n)-(a+b)w(n+1)+abw(n+2)3) 混合相位系统H3(z)=(1-az)(1-bz-1) 系统输出为y3(n)=-aw(n+1)

25、+(1+ab)w(n)-bw(n-1) 输出y1(n)，y2(n)及y3(n)具有相同的自相关序列，即r(m)=Ey1(n)y1(n+m)=Ey2(n)y2(n+m)=Ey3(n)y3(n+m)0 a 1,0 b 12r(0)=1+a2b2+(a+b)2w2 r(1)=-(a+b)(1+ab)wr(2)=ab2wr(m)=0,m3这就意味着它们具有相同的功率谱，因此利用功率谱无法将三个系统区分开来。然而利用双谱则可以区分，因为y1(n)，y2(n)及y3(n)具有不同的三阶累积量，见表1.1。这表明三阶累积量可以用来辨识非最小相位系统，这在地震信号反褶积及数据通信中有重要的应用。表1.1 具有

26、相同自相关的三个系统的输出的三阶累积量(5) 混合高斯和非高斯系统的辨识 设一过程的功率谱为S()，双谱为B(1,2)。若与S()相匹配的线性系统的传递函数为H(z)，即S()=H() (1.33)2而与B(1,2)相匹配的线性系统的传递函数为T(z)，即B(1,2)=T(1)T(2)T(1+2) (1.34) *当由式(1.33)求得的H()与由式(1.34)求得的T()不同时，可用来辨识高斯与非高斯分量组合的系统。下面就来研究这个问题。考虑如图1-1所示的过程zn，它由两个过程组成：一为高斯白噪声(n)通过AR滤波器的输出x(n)，另一为非高斯白噪声w(n)通过AR滤波器的输出y(n)。设(n)与w(n)相互独立，(n) x(n)z(n)w(n) y(n)图1-1 混合高斯和非高斯系统2=1，3w=1。于是z(n)的因此x(n)与y(n)相互独立。为方便起见，设2=w双谱是x(n)和y(n)各自双谱的和，因为x(n)是高斯过程，其双谱为零，故z(n)的双谱就是y(n)的双谱